Původně rozlohou i stavebně rozlehlejší areál zámku se nachází v centru města, východně od hlavního náměstí. V místech někdejšího kláštera augustiniánů ze závěru 14. století bylo od druhé poloviny 15. století budováno, tehdejšími majiteli panství Kostky z Postupic, sídlo hospodářské správy. V závěru 16. století, za Hrzánů z Harasu, započala rozsáhlá přestavba a rozšíření celého areálu západním směrem, k hlavnímu náměstí. Dnes zůstala z někdejšího zámeckého areálu, využívaného od počátku 18. století definitivně již jen jako sídlo správy lanškrounského velkostatku, zachována pouze hlavní budova čp. 1 a budova koníren, představující pouze menší část z jinak značně širšího hospodářského zázemí objektu. Hospodářské budovy někdejšího prvního nádvoří byly roku 1858 postoupeny tehdejším majitelem, knížetem Liechtensteinem, městu a záhy na to byly, včetně ohradní zdi uzavírající první nádvoří, zbořeny. Vzniklo tak velké volné prostranství dnešního Jiráskova náměstí. V místech starší budovy pocházející ze západního křídla byla nově vystavěna budova školy, dnešní základní škola čp. 143. Druhé nádvoří, dnes prostranství mezí budovou zámku a konírnami a prostor jižně od budovy zámku, bylo přetvořeno do parkové úpravy.