Zámecké budovy vytváří na západě zadní konce parcel domů, na severu tvoří severní křídlo průčelí do Zámeckého náměstí a na východě a jihu je areál obehnán ohradní zdí, někdy i vícenásobnou. Zeď je zděna z lomového kamene, cca 2 - 2,5 m vysoká. Ve východní části za zdí vedl náhon zámeckého mlýna, který s ní sousedí. U mlýna je zeď prolomena pravoúhlým bosovaným portálkem se znakem Jana Třebovského z Boskovic. Následuje na jižní straně průjezd s klasicistní branou a pak druhá zeď ohraničující přímo nádvoří s vsazeným raně renesančním pravoúhlým portálem z roku 1492. Na vnější straně brány jsou osazena tonda (novodobé výdusky, originály jsou v expozici muzea) Ladislava z Boskovic a Magdalény z Dubé a Lipé. Budova při jižní bráně, na parcele 268 byla zbourána a zeď doplněna nově.