Město bylo založeno zřejmě Slovany na řídce osídleném území, jako původně osada při strážní stanici pro důležité spojnice Prahy s Vídní, Brna s Pasovem a Jihlavy s Lincem. První písemná zmínka je z roku 1260 a tehdy ještě trhová ves (zřejmě kruhového tvaru při kostele) patřila pánům z Hradce. Roku 1278 dal Přemysl Otakar II. příkaz zřídit opevnění. Společně s opevněním se budoval i složitý podzemní systém. Město opevněno již r. 1366 v obvodu historického jádra. Vnitřní hradba, pevně založená, asi 8m vysoká (severní strana), 8-10m před ní se nacházela druhá, vnější hradba, postavena kolem r. 1580, vysoká průměrně 3m, bez základů. Prostor mezi hradbami (parkán) byl zatravněn. Před vnější hradbou byl vyhlouben příkop, napájený vodou ze Starého (Slavonického) potoka a z rybníku na severní straně města. Vystupující věže umístěny jen u vnější hradby, a to v rozích - věže byly masivní, proti městu otevřené, vysoké asi 9,75m. Severní starna fortifikace opatřena ještě jednou věží uprostřed délky. Vnější strana příkopu v 17. stol opatřena palisádami. Vnější hradbou vedly 3 brány: Horní (Jemnická) z východu, Dolní (Bolíkovská) ze severu a "fortna" Osterreicher (Rakouská) z jihu. U Rakouské brány byla navíc masivní věž, která vyplňovala prostor mezi vnitřní a vnější hradbou a ještě vystupovala dopředu. U ostatních bran byla věž pouze nad vnitřní hradbou, před nimi pak byl ve vnější hradbě předsazen barbakán k obraně bran. Podél koruny vnitřní hradby byl dřevěný ochoz.