Raně barokní klášter byl vybudován mezi lety 1663-71 na místě opevněného biskup. dvora a několika měšťanských domů. Výstavba kláštera započala v zadních traktech parcely, protože v pozici při ulici stál Valdštejnský dům, který karmelitky využívali jako ubytovací provizorium. Podle projektu C.Luraga byl vybudován složitě diponovaný soubor budov volně navázaných na kostel. Jihových. od kostela leží kvadratura spojená galerií s dalším křídlem na půdoryse "L" ubíhajícím šikmo k severovýchodu. K této části se ze severu připojují mladší objekty svírající s barokním křídlem obdélný dvůr (Minis. financí). Ze záp. se ke kvadratuře připojuje neobarokní dům v l. 1907-1909 B. Fleischingerem. Kaple sv. Terzie z Avily, gloriett: Kaple sv. Terezie z Avily byla vybudována jako centrální stavba v první pol. 18. století. Objekt na půdorysu čtverce s vyžlabenými rohy člení lizenové rámy. Kasulová okna, která prolamjí jednotlivé strany kaple, mají štukové šambrány. V interiéru se dochovaly původní nástěnné malby od J.K. Kováře z r. 1745. Drobná centrální polygonální barokní stavba glorietu byla vybudována snad na počátku 18. století. Situována je v severovýchodním rohu zahrady při arkádové ohradní zdi. Fasádu glorietu člení pilastry. Interiér je zaklenut klášterní klenbou. Budova při Josefské ulici na pozemku parc. č. 147/2 má nově (asi od r. 2018) přiděleno čp. 641.