Varvažov je vsí ve středním Povltaví, obklopenou lesy. První zmínky o vsi jsou z poloviny 13. století a ves byla po celou dobu v majetku řádu Johanitů až do poloviny 19. století, kdy byla připojena ke Schwarzenbergskému panství. Vesnice se dnes skládá ze dvou částí, do památkové zóny spadá jen východní část kolem zámku, bývalé letní rezidence Johanitů. Pozdně barokní zámek pochází z18. století. Budovy zámku pravděpodobně obsahují zbytky bývalé středověké, renesančně přestavěné tvrze. Za budovou zámku je rozsáhlý hospodářský dvůr. Severně od hlavní budovy se v areálu zámku nachází kaple sv. Kateřiny s kaplankou. Koncem 19. století byl zámek upraven na školu. Ve vsi se zachoval soubor jednoduše řešených usedlostí klasicistního typu převážně s polovalbovými střechami kolem menší obdélné návsi.