Budova zámku na jihovýchodním okraji města integrovala starší budovy středověkého hradu a byla změněna hlavně po požáru v roce 1840. Dnešní vzhled ukazuje jednopatrovou trojkřídlou otevřenou dispozici s nepravidelnými křídly. Vstupní průčelí je opatřeno zhruba v polovině věží s průjezdem. Vnější stranu zdobí pískovcový portál s polokruhovým záklenkem, maskami lvů na soklech a v klenáku a vlysem s triglyfy a maskami, s přepásanými polosloupy a dvěma bosovanými, polokruhově zaklenutými průchody po stranách. Portál je opatřen dřevěnými vraty, vstupuje se jím do prostoru průjezdu, vymezeného dvěma řadami bosovaných pilířů a klenutého křížovými klenbami s hřebínky. Za průjezdem je nádvoří zámku s jednopatrovými arkádovými ochozy na všech křídlech, které končí v polovině bočních křídel, kde na ně navazují štukové nápodoby bosovaných arkád na klasicistně přestavěných fasádách. Arkády tvoří bosované pilíře, s představenými bosovanými pilastry, které v patře vybíhají ze soklů, opatřených antropomorfními a zoomorfními reliéfy (hlavy, polopostavy, masky). Poprsně arkád jsou vyplněny parapetními deskami se střídajícími se motivy vpadlých oválných a obdélných zrcadel. Věž je posunutá o polovinu patra proti arkádám, vystupuje z fasády jako rizalit a má dvě patra, opatřená vždy třemi arkádovými oblouky. Z arkád se vstupuje do jednotlivých místností zámku pravoúhlými portály s jednoduchým manýristickým ostěním a výraznými římsovými supraportami. Všechny okenní a dveřní otvory dané schéma opakují. Na křídla s arkádami navazují klasicistně přestavěná křídla bez arkád. Nesou štukovou výzdobu, imitující dělení arkádových oblouků bosáží. Věž byla přepatrována pro potřeby muzea. Ve východním křídle se nacházejí prostory, které patřily k organismu starého hradu - sál se dvěma poli křížové žebrové klenby s kvadrilobovými svorníky se znaky Boskoviců, pánů z Lipého a Růže a zavinutou střelou. Místnosti za arkádami jsou řazeny aditivně za sebou a mají často ploché stropy nesené fabiony. V několika místnostech přízemí západního křídla se dochovaly fragmenty i celé valené klenby se styčnými lunetami a štukovými žebry, vytlačenými z ornamentálních forem (s pletencem), protínající se ve svornících s vegetabilními motivy. Sklepy zámku jsou valeně klenuté a pod dnešním nádvořím jsou zachovány prostory středověkého hradu.