Na této parcele stálo několik měšťanských domů. Již zcelenou parcelu získal 1538 Florián Gryspek z Griesbachu a pokračoval ve stavbě rozestavěného paláce. 1562 postoupil palác panovníkovi a ten ho dal k disposici nově jmenovanému arcibiskupovi Ant. Brusovi z Mohelnice. Ten si nechal palác přestavět dle návrhu B. Wohlmuta za vedení Hanse Tirola. Z renesanční podoby se dochovalo sgrafito na nádvoří. Na počátku 17. st. byla vybudována palácová kaple a "lusthaus". 1676-9 probíhala raně barokní přestavba pod vedením J. B. Matheye. Upravena byla především hlavní budova - disposičně, tak vnějškově. Vznikl nový vjezdový portál a vestibul a bylo zřízeno schodiště, palác byl zvýšen o 3. patro. Stavební etapa z počátku 20. let 18. století se týkala budovy konsistoře (P. I. Bayer, F. de Oliva). V 60. letech 18. st. proběhla poslední přestavba (J.Wirch): bylo přebudováno hlavní průčelí, upravena hlavní budova i křídla, v prvním nádvoří byla vybudována vznosná galerie a na závěr bylo vystavěno patrové zadní stavení nad Jelením příkopem. V 90. letech pak byla zřízena zahrada.