Renesanční zámek o třech jednopatrových křídlech seskupených kolem uzavřeného lichoběžníkového nádvoří původní středověké klášterní kvadratury, jejíž poněkud lichoběžníkový půdorys plně respektuje, se přimyká k jižnímu průčelí lodi kostela. Jižní trakt pokračuje novějším renesančním, směrem na západ vysunutým křídlem jízdárny. Zdivo středověké stavby tvoří podstatnou část zámecké architektury (s výjimkou západního renesančního křídla), dochována je hmota patrového západního a východního křídla kláštera, jižní a východní rameno křížové chodby s kružbami arkád, přičemž západní rameno bylo nahrazeno renesanční novostavbou a severní rameno přiléhající ke kostelu bylo zbořeno. Západní vysunuté renesanční křídlo plynule navazuje na původní mohutnou hranolovou gotickou věž vysunutou směrem do svahu na jihozápadní straně původní klášterní kvadratury pobořenou roku 1502. Dnešní podoba zámku je však výsledkem renesanční přestavby Osovských z Doubravice a následných barokních adaptací zahájených Františkem Augustinem z Valdštejna v letech 1666 - 1684. Jižní a východní průčelí zámku je členěno odstupňovanými opěrnými pilíři. Ve východním traktu směrem do uzavřeného dvora jsou zachovány zazděné hrotité arkády dřívější křížové chodby. Západní průčelí zámku a severní průčelí navazující jízdárny má fasádu směrem do čestného dvora zdobenou psaníčkovým sgrafitem. Asymetricky umístěný portál přístupný z čestného dvora čtyřmi stupni je flankován bosovanými polopilíři s římsovou hlavicí a kapkami. Pravoúhlý vchod je opatřen kamenným ostěním a ušima. Nad polopilíři jsou volutové nástavce s maskarony, na nich spočívá kladí s diamantováním. V nadpraží je závěs s volutovými křídly, nad ním plastická kartuš s erbem. V ose portálu se nachází balkon nesený volutovými krakorci, zábradlí tvoří kuželková balustráda. V severním průčelí jízdárny je prolomen pravoúhlý vchod s kamenným ostěním s ušima a klenákem ve vrcholu. Na nároží je situována válcová bašta, prolomená jedním pravoúhlým vchodem s kamenným ostěním s lištou a jedním pravoúhlým okénkem s parapetní římsou. Pravoúhlé okenní otvory jsou vsazeny do kamenného ostění s lištou a parapetní návojovou římsou. Místnosti v přízemí jsou zaklenuty valenými klenbami se styčnými lunetami a hřebínky. Patra jsou plochostropá. V místnosti v I. patře bývalého kláštera byla v r. 1959 pod omítkou objevena gotická nástěnná malba. Zbytek výjevu na východní stěně představuje Zvěstováni P. Marie, na severní straně trůnící Madonu s Ježíškem. Při obnově zámku byl za Rudolfa Fr. Augustina z Valdštejna vybudován koncem 17. a začátkem 18. století hlavní sál s mramorovou podlahou. Stěny sálu byly vyzdobeny malovanými erby v kartuších - znaky moravských větví Valdštejnů. Výzdoba sálu a chodby pochází z období rokoka kolem poloviny 18. století.