Nevelký areál bývalého královského hradu Vargač se rozkládá na jižním okraji strmého skalnatého ostrohu nad Huťským rybníkem, východně od historického jádra města a zámku. Areál tvoří dvě budovy s ústředním nádvořím, malé fragmenty někdejší ohradní zdi na jižní, jihovýchodní a severní straně nádvoří, široký šíjový příkop se zbytky valů na severu a plocha zahrady, zřejmě někdejšího předhradí v severovýchodní části, kde kromě dosud patrných pozůstatků rozvezeného valu lze předpokládat pod úrovní terénu zbytky dalšího opevnění. Hlavní budova, bývalý palác, dnešní sýpka stojí na západním okraji nádvoří při hraně srázu spadajícího do hluboké rokle, druhou stavbou je tzv. purkrabství čp. 7 na sv. straně nádvoří.