Panská zahrada, umístěná vně zámeckého areálu, se nachází ve sníženině jihovýchodně od zámku. Podoba Panské zahrady se postupně vyvíjela již od období renesance. Původně užitková zahrada byla upravena na přelomu 18. a 19. století, spolu s úpravou zámecké obory a celé východní strany zámeckého kopce, kdy byla propojena s terasovitým parkem na východním úpatí zámeckého kopce stupňovitým schodištěm. Téměř čtvercový půdorys panské zahrady s obytným domem zahradníka a holandským skleníkem, vystavěnými v jihozápadním rohu zahrady, byl do konečné podoby dotvořen až v druhé polovině 19. století. V prostoru Panské zahrady bylo založeno jezírko s centrálně umístěným ostrůvkem. Zahrada má jednoduchou pravidelnou kompozici a plochy jsou upraveny do jednoduchého rastru travnatých ploch s výsadbou převážně ovocných dřevin a trvalek, protkaných sítí cest s mlatovým povrchem. Panská zahrada je ohrazena vysokou ohradní zdí, vystavěnou z cihel a prolomenou třemi vstupními branami. Po obvodu Panské zahrady byla již v průběhu 2. poloviny 20. století vystavěna zahrádkářská kolonie a garáže, čímž byl narušen původní vzhled zahrady.