Plocha městské památkové zóny zahrnuje zhruba plochu původního středověkého města (zřejmě založeného na přelomu 13. a 14. století v souvislosti s kolonizací na toku horní a střední Divoké Orlice), jehož urbanistická struktura, proporce zástavby i panorama s městskými dominantami se v prostředí moderní zástavby kvalitně dochovaly. Dominanty určující celkový obraz města, především jeho siluetu v pohledech do intravilánu i z něj, jednoznačně tvoří kostel sv. Václava, areál zámku s hospodářskými budovami (včetně bývalého pivovaru s komínem) a radnice situovaná na náměstí. Tyto dominanty jsou zároveň i nejhodnotnější objekty památkové zóny. Základem půdorysné kompozice památkové zóny je středně velké obdélné náměstí s přilehlými domovními bloky (původně roubených jednopatrových chalup s loubím), které byly během 18. století postupně přestavěny na zděné měšťanské domy. Náměstí je vymezené dvojicí paralelních ulic (Hluboká – Nádražní, Pod Radnicí – Zámecká) a dochovanou pravidelnou parcelací (dlouhé strany - 10 parcel; kratší – 4/5 parcel). K tomuto určujícímu prvku památkové zóny pak přiléhá urbanisticky a architektonicky významná, půdorysně nepravidelná, dochovaná, venkovská chalupnická zástavba, typická pro historická předměstí měst. Na Tyršově ulici a Jiráskově náměstí pak najdeme zachovalý a kompaktní doklad cílené a na pohled pravidelné urbanizace, v této jinak nepravidelné skladbě a parcelaci předměstí. Část kulturně historických hodnot města zůstala situovaná taktéž mimo památkovou zónu, jedná se o zámecký park, ulici Na drahách se statkem č. p. 340, židovský hřbitov nebo bývalý Kateřinský špitál – dnešní muzeum.