Na jihovýchodním okraji města je v hradbách začleněna tříkřídlá budova zámku, v terénu s pozůstatky tzv. Starého zámku (bývalého hradu), zaniklého po požáru v roce 1840. Tehdy byla nejen změněna dispozice, také se na jižní části vybudovala ohradní zeď s branou, do které byl zasazen raně renesanční portál s datací 1492 a medailony stavebníka Ladislava z Boskovic a jeho manželky Magdaleny z Dubé a Lipého. Areál byl od počátku včleněn do městských hradeb. V jižní části je ve zdi zasazen bosovaný portálek se jménem Jana Třebovského z Boskovic. Na nádvoří zámku je umístěna klasicistní kašna. Druhotně sem byly osazeny i kamenné sluneční hodiny.