Areál bývalého rumburského panského sídla můžeme vymezit městským blokem mezi ulicemi Nerudova, Růžová, Jiříkovská a Třídou 9. května, kde se nachází devět stavebních objektů různého typu, účelu (hospodářského a obytného typu) a rovněž různé doby vzniku – od pozdního středověku až po přelom 19. a 20. století. Zámek v Rumburku patří k významným dominantám města a jeho historie je úzce spjata s vývojem celého tolštejnského panství. Panské sídlo je v Rumburku doloženo na počátku 16. století jako součást vrchnostenského dvora. Zámek byl sice v 18. století barokně přestavěn, ale zachoval si zřetelně renesanční kompozici staveb. Okolo nádvoří stály tři samostatné budovy (dnes všechny propojené, tento stav je výsledkem úprav v moderní době) - sídlo panské správy (vstupní objekt při západní straně areálu zámku, nachází se při východní straně průjezdní komunikace), hospodářská budova a vlastní zámek (umístěn do jižního rohu areálu zámku). Nádvoří bylo zpřístupněno třemi vjezdy. Dva z dnešní Jiříkovské ulice protínaly budovu panské správy, přičemž ani jeden dnes neslouží svému účelu. Levý vjezd byl zazděn v dřívějších dobách, pravý sloužil svému účelu do 90. let minulého století, kdy byl zaslepen, zasklen a slouží jako dílna odborného výcviku. Současný vjezd na nádvoří je výsledkem posledních úprav. Třetí vjezd vedl od pivovaru a protínal hospodářskou budovu.