Zámecký areál se nachází na jihovýchodním okraji historického jádra města. Vstup do areálu je uvozen architekturou vstupní brány se sochařskou výzdobou. Za ní je položen hospodářský dvůr s nepravidelnou obvodovou zástavbou, sloužící od 19. století převážně pivovaru. Na východní straně dvora stojí budova pivovaru čp.44 s varnou a ležáckými sklepy, jejíž severní křídlo po boku brány tvoří starší úřednická budova (dříve čp.37). Směrem k jihu na pivovar navazuje nehodnotná moderní přístavba vinařských závodů. Hospodářské budovy na západní straně dvora jsou vystavěny na dvakrát zalomeném protáhlém půdorysu. V jižním křídle čp.706, nejblíže zámku, bývaly konírny, ve zbylé části (čp.52 a část bez čp.) bývala sladovna pivovaru s věžovým hvozdem a se sýpkovými prostory v patře. Na toto prostranství navazuje budova zámku čp.1, se dvěma uzavřenými nádvořími. V západním koutu severního nádvoří se nacházela dnes rozebraná a deponovaná kamenná kašna. Do tohoto koutu, kde chybí původní zástavba, byla v 70. letech vestavěna, zcela bez respektování zámeckého komplexu, nová budova. Ze severovýchodního nároží zámku vystupuje zámecká kaple, s presbytářem na východní straně. Na zámek převážně jižním směrem navazuje rozsáhlý krajinářský park. Na jeho okraji se nedaleko zámku na hraně svahu nad údolím zachovala vysoká vodárenská věž, původně tvořící součást staršího renesančního opevnění. V její blízkosti je zapuštěn kruhový kamenný bazén s plastikou Najády, opodál stojí kamenné sluneční hodiny. Jižním směrem, v dohledu od zámecké budovy, se nachází hospodářský dvůr. Ze starší zástavby je chráněný jen úřednický dům čp.183, ostatní hospodářské budovy nejsou předmětem ochrany. V zalesněné části parku, v jihozápadní poloze, je situován starý hřbitov s hrobkami rodiny Parishů. Jihovýchodně od zámku, v roklině u rybníka, jsou umístěny dva kamenné pomníky psů. Ještě dílem v parku v tomtéž směru je vystavěn empírový pavilon v podobě antického chrámku. Ne zcela souvislé pozůstatky ohrazení z lomového kamene vymezují po obvodu zámecký park vůči zástavbě města.