Budova bývalých kasáren je situována v historickém jádru města, v těsné blízkosti areálu hradu a radnice. Spolu s radnicí a hradem tvoří ucelený areál. Budova tvoří významný arcjitektonický, urbanistický ale i historický prvek v inravilánu města. Budova se nachází na půdorysu písmene L s čtyřpatrovým hranolovým přístavkem (věží) připojenou na západní straně. Symetrické hlavní vstupní průčelí s rizality na kraji je orientováno do přilehlé Karlovy ulice. Ve středu průčelí se nachází polokruhový průjezd. Za domem se nachází nádvoří, které je společné i pro hrad (muzeum). Památková ochrana se vztahuje na budovu včetně pozemku st.parc.č. 143/1.