Zámecký areál, tvořící nejen pohledovou dominantu nad údolím Kněžny, zaujímá severní část historického jádra města. Areál je sevřen a vymezen ulicemi Betengelovou ze západní strany, Smetanovou ze severu, Masarykovou z východní strany a Poláčkovým náměstím z jihu. Z objektů je tvořen zámeckou budovou čp. 1, včetně budov hospodářské správy a koníren, zámeckým kostelem Nejsvětější Trojice, zvonicí při kostele, jízdárnou, monumentální branou ke kostelu, vsazenou do úseku ohrazení s oplocením, ohradní zdí se vstupními branami, která obíhá zámecký park, nedílnou součást areálu, a sousoším mariánského sloupu se sochami světců. Nástupní prostor k zámku tvoří Poláčkovo náměstí, jehož prostranství vzniklo úpravou jihozápadně před zámkem položeného terénu již patrně v 90. letech 17. století, kdy byl v těchto místech umístěn již zmíněný mariánský sloup, doplněný o něco později sochami světců. Severozápadní křídlo zámku, s malou, na terase založenou zahradou, stojí nad zlomem terénu, který se svažuje ke korytu řeky Kněžny. Severovýchodně za zámkem, za druhým nádvořím, se na rozlehlém prostranství nachází zámecký kostel, který je se zámkem spojen dlouhou chodbou, sledující svým průběhem zmíněný terénní zlom na severozápadní straně areálu. Jižně při presbytáři orientovaného kostela stojí hranolová zvonice. Zámecký park s jízdárnou, jehož pozemek je vymezen průběhem ohradní zdi, je od severozápadněji položeného zámeckého komplexu oddělen průběhem Kolowratské ulice.