Areál paláce se skládá z čp. 158, Velké Pálffyovské zahrady, Malé Pálffyovské zahrady, fontány s Tritonem, a čp. 159. Pozemek byl původně ve vlastnictví Valdštejnů. V letech 1712 až 1720 na něm Jan Josef z Valdštejna spojil a přebudoval dva měšťanské domy (původně středověké, renesančně a raně barokně upravené) včetně zahrad. Úprava byla provedena dle návrhu F. M. Kaňky (fresková výzdoba V. V. Reiner, kamenické práce D. A. Rappa). Od roku 1731 patřil palác se zahradami Furstenbergům, dále od roku 1883 rodu Pálffyů. Klasicistní zásahy proběhly mezi lety 1808 až 1823 (I. J. N. Palliardi a J. Zobel). Čtyři obytné a reprezentativní křídla paláce svírají lichoběžníkový dvůr. Na západě přiléhá obdélný dvůr, dvě hospodářská křídla a čp. 159, které je s palácem plně provozně propojeno. Výraznými částmi paláce jsou vstupní bosovaný portál, průjezd s barokními štuky na pasech segmentově stlačené klenby, čtyřramenné pilířové schodiště a slavnostní zrcadlový sál v druhém patře s rokokovou štukovou výzdobou. Obě zahrady jsou italského typu s terasovou úpravou. Na jejich místě byly od pol. 15. stol. doloženy vinice. Podoba zahrad jak ji známe dnes pochází z let kolem r. 1751 (za Marie Anny z Furstenbergu). Velká zahrada je pojata jako reprezentativní prostor s centrálním schodištěm s barokními portály a kruhovým bazénkem s litinovou sochou Tritona. Malá zahrada je střídměji stavebně upravena a je osazena ovocnými stromy. Na východě jsou její terasy propojeny přímým schodištěm.