Volně stojící budova bývalého arcibiskupského zámku je položena asi 110 m od hlavního náměstí T.G.Masaryka při SZ okraji historického jádra města v mírně vyvýšené poloze mezi ulicemi Na příkopech a Tyršovou. Rozsáhlá čtyřkřídlá dvoupatrová stavba s nevelkým vnitřním dvorem mírně lichoběžníkového půdorysu byla původně obehnána valy a příkopy, které byly již r. 1846 rozkopány a zasypány. Na místě někdejšího opevnění je dnes menší park, oddělující zámek od okolní zástavby. Nejstarší vých. křídlo budovy, původní gotická tvrz, je postaveno z kamene, mladší části jsou ze smíšeného, převážně kamenného zdiva. Při nedávné opravě objektu byl odlišením vnějších omítek naznačen složitý stavební vývoj objektu. Na vých. křídle, které je starou tvrzí, jsou hrubě nahozené ostré omítky, tónované světlou hnědí, hlazené štukové omítky na barokní přístavbě již. křídla jsou světleokrové, na nejmladších křídlech záp. a sev. lomeně bílé. Nová úprava exteriéru jednoznačně rozlišuje mezi základními slohovými fázemi vývoje budovy. Jižní průčelí je šestiosé, mezi čtvrtou a pátou osou zleva vystupuje v celé výši dvoupatrové fasády vertikální pás mohutných pravidelně otesaných kamenných kvádrů, tvořících původní volné nároží gotické tvrze. Velká obdélná okna v obou částech průčelí jsou shodně orámována širokými hlazenými štukovými, lžicí utaženými bílými paspartami, pouze v přízemí staré části průčelí mimo rytmus dnešních os bylo při opravě odkryto původní šířkově obdélné gotické okénko v kamenném šikmo zkoseném ostění. Ve čtvrté ose se otevírá široký půlkruhový barokní vchod v hladkém pískovcovém ostění s odsazenými soklíky a odraznými patníky. Vých. průčelí původní tvrze je tříosé, část oken v hladkých utažených paspartách je sdružených do dvojic. V přízemí se dochovaly fragmenty dvou gotických obdélných okének v kamenném ostění, orámované novými paspartami. Mezi první a druhou osou vyniká trojboký arkýř, spočívající na široké kamenné bohatě profilované konzole. Sev. část průčelí, která patří k novodobé přístavbě sev. křídla, je dvouosá, v přízemí tříosá s velkými obdélnými, zčásti sdruženými okny v plochých neprofilovaných plasticky vystupujících šambránách. Sev. průčelí tohoto nového křídla, celkově sedmiosé, je rozděleno do dvou odlišně komponovaných úseků. Užší vých. tříosá část je hladká, členěná pouze plastickými okenními šambránami, v záp. části o čtyřech osách jsou vyvinuty kordonové mezipatrová římsy a ploché lizénové pásy mezi okny. V třetí ose zprava je zdůrazněn pravoúhlý orámovaný vchod s vystupujícím kladím a nadpražním čtvercovým světlíkovým oknem. Úprava této části průčelí stylově odpovídá 20. létům 20. stol. Obdobnou, jenom v detailech odlišnou úpravu má i novodobá sev. šestiosá část záp. průčelí. Jižní dvouosá, mírně ustupující část téhož průčelí patří již k baroknímu již. křídlu a sdílí s ním úpravu hladké fasády s velkými okny v plochých neprofilovaných šambránách. Jednotlivá křídla budovy mají jednoduché sedlové střechy, které tvoří v místech styku na nárožích formu valby. Střechy jsou pokryty taškami, převážně bobrovkami.