Kostel Všech Svatých se nachází v severozápadní části historického jádra obce Vejprty, na západní straně Kostelního náměstí, kterému dal jméno. Kostel samotný je díky své vysoké štíhlé věži orientačním bodem spíše pro širší okolí, dominuje ale navzdory košatým korunám i vlastnímu nepravidelnému svažitému náměstí, jehož západní horní hranu vymezuje. Věž se uplatňuje zejména v průhledu Přísečnickou ulicí. Kostel je neorientovaný, s věží obrácenou k jihu a presbytářem k severu. Sousoší Kalvárie, které je vedeno jako součást areálu této sakrální stavby, najdeme v travnaté ploše před obslužnou komunikací přibližně deset metrů od jihovýchodního nároží kostela. Je obklopené čtyřmi mohutnými vzrostlými stromy, které jsou součástí jeho kompozice. Skulptura se obrací zády ke kostelu a čelem k náměstí, přerušeném průjezdní silnicí II/219.