Budova bývalého gymnázia je samostatným trojdílným objektem jezuitského areálu. Jižní fasádou se obrací k volné parkové úpravě při břehu říčky Chomutovky. Severní průčelí utváří prakticky celou jižní frontu ulice U městských mlýnů, která se na severní straně otvírá do asfaltového parkoviště za zadními trakty domů chomutovského náměstí. Původně gymnázium, dnešní muzeum, je dvoupatrová budova, uvozená z východní strany při jihozápadním nároží jezuitské koleje hranolovou věží, na kterou navazuje v západním směru úzký protáhlý stavební objem na obdélném půdorysu v poměru stran cca 1:7. Na jeho západním konci je připojena kratší širší obdélná hmota, navazující dále kolmo na již nechráněný dům č. p. 255. Budova je zděná, omítaná. Barevnost fasády je světle okrová s až žlutooranžově sytými aktivními prvky. Fasáda věže je sytější, monochromní, bez barevného odlišení tektonických prvků. Některé prvky, jako je podokenní římsa věže, nebo sloupky zábradlí její terasy, jsou kamenné. Střecha hlavní protáhlé části je sedlová, na ni navazuje střecha valbová nad kratším širším dílem, Střecha věže je plochá, s terasou. Jako krytina je užita keramická taška vlnovka. Fasáda jižní je opatřená mezipatrovou římsou nad přízemím, a dále krátkými nadokenními římsami šambrán převážně sdružených oken. Nadokenní římsa páté okenní osy zleva, nad jedním ze vstupů, je stlačeným obloukem vzedmuta. V suprafenestře pod ní je ve štuku vyveden sluncový motiv. Fasáda severní je prostá, bez členění.