První zmínka o přípravě zástavby pozemku pochází z r. 1580. Nejstarší část dnešního objektu vznikly však patrně až v období po r. 1635, kdy zde existovala koželužna. Z pozdně renesanční fáze se dochovaly sklepy, částečně obvodové zdivo a střední dělící zdi do výše patra. V přízemí jsou dva prostory klenuté renesančními klenbami. Z renesančních štítů, které jsou zaznamenány ještě na plánech z r. 1803, se dochoval zbytek západního. Podle Palliardiho projektu z r. 1803 byl při vých. průčelí připojen dodatečný trakt, otevřený v přízemí tříosou arkádou. Do středu dispozice bylo vloženo nové schodiště a podstatnou úpravou prošlo i 1. p. Oproti pův. návrhu byl objekt opatřen novou mansardovou střechou s podkrovím. Na základě plánu z r. 1840 byl při severozáp. nároží přistavěn skleník, ze kterého se dochovala pouze sev. zeď. V 1. pol. 20. stol. došlo k úpravám, z nichž je nejvýznamnější nové řešení 1. p. a podkroví od arch. Bohumila Hübschmanna (jeden z plánů je datován r. 1921). R. 1978 bylo rozhodnuto o osazení pamětní desky s bustou Zdeňka Wirtha, který v domě žil mezi l. 1929-41. Bustu provedl sochař A. Kulda. Dalším významným obyvatelem domu byl Jan Werich. Patrový dům obdélného půdorysu stojí volně v zahradě. Při záp. průčelí probíhá pův. zeď klasicistního skleníku. Úpravu průčelí určila přestavba z r. 1803. Na zdi zahrady do ul. U Sovových mlýnů jsou osazeny pamětní desky s bustami Z. Wirtha a J. Wericha. Sklepy se nalézají pod převážnou částí renesančního jádra, půdorysně korespondují s přízemím.