Město Žlutice, založené na pravidelném obdélném půdoryse, bylo ve středověku velmi dobře střeženo. Ochranu zajišťoval jednak hrádek Nevděk, posazený na strmě spadajícím návrší jižně od města, jednak tvrz Mazanec situovaná severozápadně od historického jádra. Vlastní město, položené v prudkém svahu, spadajícím k řece Střele, bylo důkladně opevněno městskými hradbami, parkánovou zdí, příkopem a valem. Městská hradba měla nestejnou sílu (na severu bylo naměřeno průměrně 110 cm, na jihu se dnes jeví hradba daleko silnější – 160 až 200 cm). Na severu vystupuje oproti městskému terénu (prudce se svažujícímu) asi o 5m, na jihu je zachována výška obdobná. Na reliktech hradby se nezachovaly žádné stopy ochozu ani cimbuří. V hradbě stály čtyři brány – jedna severní, nazývaná Horní, a dvě jižní, Chyšská a Vodní. Podle všech ikonografických dokladů zvláště významná byla brána severní, tj. Horní, která stála v místech dnešní Karlovarské ulice, v sousedství domu č.p. 299. Na ní byla osazena deska, dodnes zachovaná a osazená na domu č.p. 299 (rejstř.č. ÚSKP 11459/4-4972). Brána Chyšská stávala na jižním okraji Čechovy ulice, jihozápadně od kostela sv. Petra a Pavla. Kromě toho existovala na východní straně městské hradby drobná branka pro pěší, zvaná Fortna. Bývala tam, kde od r. 1902 vychází ulička mezi domy č.p. 166 a 240. Na severním konci města, v sousedství panského dvora, byla vysazena další brána, zvaná Paví. Problematická je otázka věží, které se na žádném ze tří vyobrazení Žlutic výrazně neuplatňují. Při průzkumu byl v pozadí domu č.p. 164 v ulici Karlovarské zjištěn z linie hradby vystupující, zcela mírně obdélný útvar z lomového zdiva, který by mohl být případně jednou z věží. Podle barokního vyobrazení města stávala v jihovýchodním ohybu parkánové hradby bašta. Na ní nebo na Chyšské bráně byla osazena další dodnes dochovaná deska, umístěná v současnosti na domě č.p. 42 v Hradební ulici (rejstř.č. ÚSKP 11460/4-4973). Další věž je předpokládána v jižním nároží hradebního systému, kde ovšem nad úrovní terénu města je všude již novější zdivo. Ve vzdálenosti 8–9 m před hlavní hradbou probíhala parkánová zeď nestejné síly. Takřka v souvislém úseku ji sledujeme na jihu města, i na severu, východně ulice Karlovarské v zahradě domu č.p. 164. Složitější je situace parkánové zdi na obou podélných stranách jádra. Zlom hradby v jihovýchodním nároží je plynulý, zaoblený. Další průběh parkánové zdi po východní straně města je zcela nezřetelný. Stejně komplikovaná situace je západním úseku, kde lze předpokládat existenci parkánové zdi pouze ve dvou krátkých úsecích. Podle barokní olejomalby měla vnější hradba téměř pod korunou drobné střílny. V severovýchodním ohybu hradeb při domu č.p. 63 byl nalezen ubouraný fragment lomového zdiva svědčící pravděpodobně o nárožní baště. Parkánová zeď vybíhala ze dna příkopu, který je dobře dochován po severní straně východní poloviny městského jádra. Příkop byl průměrně 14–15 m široký a v těchto místech má i dosti značnou hloubku. Kontraeskarpa je obezděna, což je dokladem celkově vyšší úrovně žlutických fortifikací. Nad příkopem vyrůstal val, patrný rovněž nejlépe na severní straně města. Stopy příkopu zjišťujeme i na východním boku jádra města.