Budova paláce svými křídly vymezuje dva vnitřní dvory. Okolo východního dvora jsou křídla jednopatrová, před jižním křídlem je portikus s terasou. Na městišti dnešního paláce stálo ve středověku několik samostatných domů, pramenné zprávy o nich jsou až z roku 1400. Domy byly postupně sjednocovány. Ve druhé polovině 17. století je do držení získal Daniel Pachta z Rájova. Z gotických objektů se dochovalo částečně jen jádro - zdivo a sklepy. Z renesanční úpravy zůstalo několik místností s renesanční klenbou. K první částečné přestavbě došlo po polovině 17. století, kdy palác už nabyl dnešní rozlohy. Do dnešní podoby byl dům upraven patrně v 70. letech 18. století. Palác především získal novou fasádu, v jižním křídle bylo zbudováno monumentální schodiště a upraveny přilehlé prostory. Na přelomu 18. a 19. století byl palác rozšířen - k bočním křídlům přibyla salla terena a další křídlo, které uzavřely zahradu. Palác byl ohrožem prvně zřízením manufaktury. Konečnou podobu získal palác po přístavbě klasicistní novostavby činžovního domu ve 40. letech 19. století Vstupní průčelí do Anenského náměstí jednoosé s bosovaným vjezdem s klenákem ve tvaru maskaronu.V bráně barokní vrata s brankou. Polokruhově zakončené okno nad vjezdem na širokém parapetu, šambrána vybíhá do volutově stočených křídel, rozeklaná římsa volutově zatočena. Nad římsou erb. Korunní římsa uprostřed konkávně vzdutá, vrcholí rovným úsekem. Nejhonosnější průčelí je dnešní dvorní, o pravidelném rozvrhu 3+3+3 osy, střední v risalitu. Okna v risalitu s půlkruhovými záklenky.