Komplex zámeckých budov vznikl přestavbou a přístavbou budov původního ženského benediktinského kláštera, založeného u teplých pramenů v polovině 12. století. Současná klasicistní podoba zámku pochází z přestavby na počátku 19. století. Při pohledu z náměstí levé, východní křídlo a na něj navazující jižní a západní křídlo uzavírají malé nádvoří – jde o budovy zámku, postavené na zbytcích budov klauzury kláštera kolem rajského dvora a přiléhající ke klášterní bazilice. Tato část je nazývána starým zámkem. Jako nový zámek je označován hlavní trakt do náměstí a v tupém úhlu navazující západní barokní křídlo s klasicistním divadélkem. Východní (románské) křídlo je upraveno v duchu romantizující gotiky. Skládá se ze dvou částí – původní románské budovy na východní straně a užší budovy, přistavěné v renesančním období po celé délce křídla. Hlavní východní průčelí je dvanáctiosé - v prvním a druhém patře, v přízemí je os méně a jejich rozmístění neodpovídá patrům. U nároží jsou lizény s bosáží, naznačenou v omítce. Střídají se zde pásy bez svislé stezky a se svislou stezkou. V levé ose přízemí je obdélný vstup, v osách druhé, třetí a páté zleva štěrbinové okénko. V ose čtvrté zleva je dřevěné okno v líci, nahoře zakončené do půlkruhu. V ose sedmé zleva, situované s výrazným odstupem, je zhruba čtvercový otvor, v němž je zasazeno kamenné okno. Jeho otvor je oválný, situovaný na šířku a rozšířený osmi půlkruhovými výběžky. V prvním patře jsou romantizující gotická hrotitá okna, v horní části s hrotitou šambránou (nerespektují osazení původních románských okének). Jsou dvojitá dřevěná, s vnějšími křídly, rozdělenými dvěma vodorovnými příčlemi, v líci. U oken v osách desáté až dvanácté zleva šambrána chybí. Na průčelí jsou přiznané starší drobné okenní otvory, situované výše než dnešní okna. Mezi osami druhou a třetí zleva je zazděný obdélný otvor, mezi osami třetí a čtvrtou zleva půlkruhově zakončený otvor se zbytkem masivního kamenného ostění. Podobné okno je i mezi osami sedmou a osmou zleva, zde je však nad půlkruhovým otvorem ostění rovné a dnešní otvor v líci stěny je obdélný. V druhém patře, odděleném římsou, jsou ve všech osách stejná okna – dvojitá dřevěná dvoukřídlá, s vnějšími křídly v líci. Rozdělují je tři vodorovné příčle, nahoře je samostatná dvoukřídlá část, rozdělená vodorovně na poloviny. Hořejšek oken lemuje profilovaná šambrána. Stěnu zakončuje hlavní římsa. Jižní fasáda je trojosá, u nároží je opět stejná lizéna s bosáží. Vpravo a vlevo od střední osy je na stěně opěrák, v úrovni prvního a druhého patra situovaný na koso a sahající po celé výšce průčelí. V přízemí jsou hrotitá okna, otvor ve střední ose je zazděný. Okna v obou krajních osách jsou stejná – velmi široká a poměrně nízká. Jsou dvojitá dřevěná, s vnějšími křídly v líci. Tvoří je dvě dvoukřídlé části vedle sebe, jejichž křídla rozděluje vodorovná příčle na poloviny a oddělená horní část. Ta je rozdělena dřevěnými tvary – dvěma jeptiškami vedle sebe a kruhem ve cviklu mezi nimi. Mezi vnějšími a vnitřními částmi je vsazena mříž. Okna v prvním patře jsou nižší obdobou oken na východní straně – křídla mají pouze dvě tabulky, šambrána je stejná. V krajních osách je okno sdružené ze dvou, ve střední ose je pouze jedno. Stejné rozdělení je i u os v druhém patře, které odděluje římsa (přes opěráky neprobíhá). Okna v krajních osách jsou stejná jako na východě, šambránu mají společnou. Ve střední ose je v otvoru iluzivní malované okno, šambrána je stejná jako na východní straně. Průčelí završuje hlavní římsa. Protější severní stranu tvoří dvě části – dvojosá východní a jednoosá západní. Východní část má u nároží stejnou lizénu jako na východě. V přízemí je vlevo zazděný otvor, lemovaný kamennými kvádry, podobný, avšak vyšší je v pravé ose prvního patra. Ve druhém patře, odděleném římsou, jsou stejná sdružená okna jako na protější straně. Fasádu ukončuje hlavní římsa. Výrazně užší západní část severní strany je pokrytá sgrafitem, linkami imitujícím kvádrovou bosáž. V prvním a druhém patře je sdružené okno ve společné šambráně. Okno v prvním patře tvoří dvě nízké obdélné, na šířku orientované části, v druhém patře dvě podobná okna jako ve východní části, avšak zde umístěná v hluboké špaletě. Nad tímto oknem již bosáž není, místo ní je zde symetricky komponovaný sgrafitový ornament se stáčenými a rostlinnými motivy. Obě části severního průčelí sjednocuje stejně provedená hlavní římsa. Šestiosé západní průčelí je upraveno sgrafitovou výzdobou. V přízemí se nacházejí vstupy do prostor renesanční části východního křídla, v patře jsou dvojice sdružených obdélných oken. Dispozičně jde o trojtrakt se středovou chodbou, přízemím a mezipatrem (původní románská budova) a patrem (renesanční přístavba). Křídlo má dvojí krov, nesoucí dvě valbové střechy s podélným úžlabím a pálenou krytinou. Kolmo na něj navazuje jižní křídlo. Je jednotraktové, s přízemím sklenutým valenými klenbami s lunetami a s obslužnou komunikací – krytou pavlačí - na renesanční arkádě. Jižní průčelí je osmiosé, s dvojicemi sdružených obdélných oken. Arkádové severní průčelí (do nádvoří) nese krytou pavlač o šesti širokých obloucích, zasklených jednoduchým děleným oknem s vějířovitým klasicistním záklenkem. Pod arkádou se v přízemí po stranách nacházejí vstupy do vnitřních prostor, v pravé části je dochován zbytek gotického půlkruhového portálu. Průčelí arkád člení bosáž, na vnitřku arkády je sgrafito v omítce. Křídlo kryje sedlová střecha s betonovou taškovou krytinou. Navazující západní patrové křídlo (starého zámku) má jižní průčelí (do malého nádvoří) osmiosé. V patře jsou dvojice obdélných sdružených oken, v ose druhé zprava se nacházejí balkónové dveře. Na pravé straně přízemí je vnější stupňovité jednoramenné schodiště, umožňující přístup na pavlač patra jižního křídla. Ve střední ose je umístěn průjezd, vpravo od něj se nachází kvalitní kamenická práce nizozemských kameníků - portál s plastickou výzdobou zvířat a páskovou bosáží (za portálem je umístěna renesanční grotta). K portálu přiléhá neorenesanční balkon. K severní straně křídla se napojuje zámecký kostel Povýšení sv. Kříže. Přízemí křídla je sklenuto valenými klenbami s lunetami. Kolmo navazující hlavní křídlo zámku je dvoupatrové, kryté vysokou valbovou střechou s betonovou taškovou krytinou. Při jižním průčelí je komunikační trakt – pavlačová chodba s arkádami. Hlavní, severní průčelí zámku (do náměstí) je osmnáctiosé, s nárožními dvouosými rizality, vydělenými pouze bosovanými pilastry ve štuku fasády prvního a druhého patra. Rizality jsou zakončeny trojúhelnými štíty, lehce vystupujícími nad mohutnou atiku. Středový rizalit – vydělený podobně jako nárožní – má v přízemí široký kamenný portál průjezdu s půlkruhovým záklenkem a představeným balkonem 1. patra, neseným dvojicí sloupů s kubickými hlavicemi. Sokl a přízemí jsou zdobené kvádrovou bosáží. Soklová římsa je zároveň průběžnou podokenní římsou přízemí, okna jsou bez šambrán. V bočních rizalitech jsou široká půlkruhová okna. Patro odděluje silná mezipatrová římsa. Okna v patře mají obdélné štukové šambrány s trojúhelnými frontony, okna druhého patra pouze štukové šambrány. Všechna okna jsou obdélná, špaletová, čtyřkřídlá, dělená na deset okenních tabulek. Mohutná atiková římsa nese v centrálních dvou osách nad portálem kamenicky provedený knížecí znak majitele (Clary-Aldringenů), položený na plášti s korunou a bočními ratolestmi. Západní boční průčelí hlavního traktu je čtyřosé, členění oken je stejné jako u hlavního průčelí. Jižní parkové průčelí hlavního traktu zámku se otevírá do velkého nádvoří propojeného se zámeckým parkem. Je desetiosé, střední dvě osy jsou sdružené. V přízemí se nachází portál průjezdu. Fasádu člení široké půlkruhové arkády s bosáží, rytmizované v prvním a druhém patře průběžnými toskánskými sloupy. Nahoře se nachází průběžná profilovaná římsa. Na pravé, východní straně přiléhá vystupující čtvercová věž, dnes snesená do úrovně druhého patra - o jedné okenní ose z každé strany. Vlevo od hlavního křídla je čtyřosá dvoupatrová část, členěná lizénami. Fasádu zakončuje atiková balustráda, která kryje západní hranolovou věž, přiléhající ze strany vnějšího západního průčelí. Věž je třípatrová, s jednou osou v každé straně. V prvním a druhém patře věže je jednoduché obdélné okno s šambránou, ve vrchním třetím patře sdružené třídílné okno s převýšeným středovým oknem s půlkruhovým záklenkem. Věž je kryta stanovou střechou se stožárem (dříve zde byl ještě i klasicizující dřevěný atikový nástavec, a to v letech 1817-1998). V tupém úhlu navazující západní barokní křídlo je dvoutraktové, s chodbou při západní straně. Jeho východní průčelí je osmiosé, s obdélnými okny se štukovými šambránami. Mezipatrová římsa odděluje první patro, členěné plochými obdélnými pilastry, průběžnou podokenní římsou a mezipatrovou římsou. Západní průčelí je desetiosé, v patře šestiosé, s jednosým hranolovým rizalitem v pravé, jižní části (tzv. Hláska – vertikální komunikace). V přízemí ve čtvrté ose zleva se nachází vstup do velké prostory, sklenuté stlačenou klenbou s lunetami s rozponem na celou šíři křídla (bývalá konírna a kočárovna). Mezi vstupem a dalšími okny je osm masivních opěrných pilířů (po stranách vchodu nesou stříšku). Křídlo je kryto sedlovou střechou s betonovou krytinou. Přímo na něj navazuje širší přístavba tzv. Domu komedií – zámeckého divadla. Jeho východní, nádvorní průčelí je osmiosé, s průjezdem v druhé ose zprava. Členění fasády je stejné jako na západě, jen ještě s festony v suprafenestrách oken v patře. Západní průčelí je osmiosé – včetně rizalitu (v 1. a 2. ose) a průjezdu (v 5. a 6. ose). Jižní fasáda se schodištěm z patra (kde se nachází původně foyer zámeckého divadla, dnes obřadní síň) otevírá do parku. Antikizující průčelí se středním rizalitem o třech osách, v nichž jsou oblouková francouzská okna, člení čtyři dórské sloupy. Nesou pravoúhlé kladí s triglyfy a trojúhelný štít se štukovou výzdobou tympanonu, předstupující před mohutnou atiku. Po stranách středového rizalitu jsou na stěnách festony. Tato část zámku je kryta valbovou střechou s betonovou taškovou krytinou.