Panský dvůr stojí na úpatí Hradského kopce jižně od rezidence a severovýchodně od zámku. Jedná se o velkoryse založenou pravidelnou čtyřkřídlou stavbu jedno až dvoupodlažní; vlivem umístění ve svahu se sklep, zčásti zapuštěný pod terénem v pohledu z ulice Hradní projevuje větracími okénky a ze severu jako přízemí. Jednotlivé vnější fasády mají po patnácti pravoúhlých okenních osách, v uliční fasádě nahrazených ve dvou případech širokými vjezdy se stlačenými záklenky. Fasádu člení šambrány kolem oken a lizénové rámy. Pod korunní římsou ve středu uliční fasády je zavěšen kamenný erb knížat z Ditrichštejna. Nádvoří se ze tří stran otevírá arkádami se stlačenými oblouky (na východě chybí, respektive se projevují jako zazděné oblouky, za nimiž však neprobíhá chodba). Oblouky zvýrazňují šambrány a klenáky. Sedlové střechy jsou opatřeny řadou vikýřů směřujících zpravidla do nádvoří s výjimkou jižního křídla, kde směřují vně dvora. Interiér klene soustava valených kleneb, ve většině prostor opatřených párovými trojbokými výsečemi.