Areál farního kostela Všech Svatých se nachází v centru města, v severovýchodním koutě hlavního náměstí, při silnici ústící z náměstí ve směru na Říčky a Bartošovice v Orlických horách. Orientovaná stavba volně stojícího kostela s věží v hlavním průčelí se uplatňuje jako pohledová dominanta východní fronty náměstí, současně představuje určitý protějšek k zámecké budově na protější straně náměstí. Mezi jihozápadní nároží lodi a jižně stojící dům je vložena vstupní brána, vymezená zděnými pilíři. Na severní straně je areál zčásti otevřen, ve východním směru navazuje ohradní zeď s oplocením, která opisuje na východní straně oblouk nad zatáčkou klesající místní komunikace a poté se váže k nároží domu, položeného jižně podél kostela. Severovýchodně od kostela, v jeho těsné blízkosti, se nachází památkově chráněný areál fary (rč. 2411). Před hlavním průčelím kostela stojí památkově chráněné sousoší Krista v Getsemanské zahradě (rč. 2412).