Areál kláštera je situovaný na severozápadním okraji městského jádra, na Novém Městě. Ústředním prvkem je kostel sv. Josefa s boční loretánskou kaplí, obrácený průčelím k jihu, do ulice. Ke kostelu na severu přiléhá trojkřídlá dispozice kláštera s vnitřním Rajským dvorem a z ní vybočuje severní křídlo. Před vstupním průčelí kostela bývaly umístěny sochy Ecce Homo a Mater Dolorosa, které byly přemístěny ke kostelu sv. Michala do Zieglerových sadů.