Rozlehlý areál nepravidelně šestibokého půdorysu je vymezen středověkou hradbou. Zástavbu tvoří šest na sebe navazujících budov s dvěma věžemi uvnitř dispozice (oválná hláska a hranolová hodinová věž), dvěma nárožními polygonálními baštami na západní straně a hranolovou baštou (hladomornou) v jižní hradbě. Budovy a hradba obklopují dvě nádvoří nepravidelného půdorysu. Množství fortifikačních prvků různého druhu a funkce jednoznačně dokládá plnou funkčnost a obranyschopnost zámku v případě ohrožení. Prvky jako dubové zarážky, odvětrávací otvory v klenbě nárožních bašt či velikosti střílen s rozevřenými špaletami ukazují, že v rámci obrany byly či mohly být využity palné zbraně. Zmínit je třeba nejenom jižní hradbu se sdruženými střílnami s dubovými zarážkami pro hradební pušky či arkebuzy, ale i formu předsazených krytých otvorů, umožňujících palbu shora k patě kurtiny osobními palnými zbraněmi s krátkou hlavní, tedy pistolemi. Obdobné, dnes však zazděné otvory nalezneme v jižní hranolové baště, dělící hradbu na dvě kurtiny. Tato jižní hradba byla opatřena ochozem, původně snad krytým, se vstupem do patra hranolové bašty i patra jižní bašty. Ochoz dále pokračoval po hradbě směrem k severní baště; po výstavbě sýpky mezi obě polygonální bašty na sklonku 16. století tato část ochozu zanikla. Osmiboké bašty umožňovaly již od nejnižšího podlaží křížové postřelování příkopu, jenž obepínal celý obvod opevnění. Protilehlou část tvořil vysoký sypaný val, který se zachoval v takřka intaktním stavu na severní a západní straně zámku. Na jižní straně byl zasypán v 70. letech 20. století při necitlivé planýrce terénu. Takto vytvořený příkop bylo možno zatopit z přilehlých dvou rybníků, nacházejících se severně v bezprostřední blízkosti zámku. Součástí mimořádně zajímavé a ojedinělé urbanistické situace je kromě opevnění, příkopu a rybníků i hlavní komunikace procházející Červenou Řečicí ve směru od Čechtic na Pelhřimov. Cesta byla až do sklonku 18. století vedena jakousi šikanou po hrázi rybníku sevřeného sypaným valem opevnění zámku. Obě bašty umožňovaly z okének/střílen horních podlaží plnou vizuální kontrolu této komunikace i její případné postřelování. Z nejvyššího patra obou bašt bylo navíc možné kontrolovat i vzdálenější část předpolí opevnění zámku a rovněž intravilán městečka. Celá unikátní situace je dodnes velmi dobře čitelná a do značné míry zachovalá, včetně obou rybníků, i když hlavní silniční tah nyní prochází skrz náměstí.