Areál hřbitova, později výrazně rozšířeného západním směrem, je koncipován od vstupní budovy ve směru od severu k jihu, kdy jsou v ose situovány hlavní prvky a objekty areálu. Kompozice celého hřbitova o 16-ti sekcích je rozdělena na několik samostatných částí, které spolu vytvářejí jednotný celek. Novější západní část je pravidelnější. Hlavní cesty i úzké cestičky, které se větví mezi hroby jsou převážně písčité, centrální plocha mezi kaplí a vstupním objektem je kolem středového zatravněného parčíku s křížem vydlážděna z žulových kostek. Část východní zdi a torzo západní zdi vymezující původní rozsah hřbitova je členěna četnými architektonicky náročnějšími zděnými novoreneančními a novogotickými náhrobky a edikuly. V ose za kaplí se nachází tzv. rondo s 23 náhrobky v netradičním dvouřadém půlkruhovém uspořádání. Ucelený soubor tvoří převážně neoklasicistní, neogotické a novodobé náhrobky. V západní části se rozkládá pietně upravené kruhové pohřebiště obětí 1. světové války dokončené v roce 1928. Celkem 263 jednoduchých malých náhrobků se rozkládá v několika soustředných kruzích kolem centrální kamenné mohyly. V těsném sousedství se nachází v 70. letech vybudované pohřebiště 409 vojáků Rudé armády padlých v regionu za 2. světové války rozprostírající se kolem centrálního pomníku. V 90. letech 20. století došlo k rozšíření o hroby německých vojáků padlých ve 2. světové válce. Německý hřbitov s 249 vojáky se rozkládá kolem centrálního dřevěného kříže. Mezi funerální architekturou vynikají neoklasicistní stély a obelisky s reliéfy, edikuly s portály, historizující kamenné i litinové kříže z 2. pol. 19. a počátku 20. století s neogotickými dekorativními prvky. Výrazně obsaženy jsou kompozičně propracované a umělecko-řemeslně zpracované secesní hrobky z počátku 20. století a dva secesní hroby ve tvaru božích muk, které se svým zpracováním vymykají klasické funerální produkci a přímo symbolizují kulturní krajinu Vysočiny. V novější části hřbitova se nachází i urnový háj a nové hroby tradiční sériové výroby a formy. Převažují oblé a hranolové tvary z leštěné žuly výjimečně mramoru. Na tvorbě hřbitovní architektury, která je dokladem kvalitní kamenické práce a zdejšího bohatství jihlavského obyvatelstva, se podíleli mnozí významní sochaři a kamenické firmy, např. firma Adolfa Loose staršího, Johanna Eduarda Tomoly, ale i místní kameníci regionálního významu Conrád Weigner a jeho syn. Na ústředním hřbitově se mimo jiných nachází i hroby významných osobností a čestných občanů Jihlavy. Díky historickému vývoji, kdy do roku 1945 tvořila Jihlava se svým okolím druhou největší německou jazykovou enklávu na území českých zemí, je zde pohřbeno také velké množství německých občanů.