Jádro zámeckého areálu (hrad připomínán již v polovině 14. století) tvoří trojkřídlá budova kolem malého neuzavřeného nádvoří. Vstup je situován od jihu průjezdem vysoké „Spanilé“ věže (92 m), dole hranolové, v horních patrech oktogonální s vysokou cibulovou střechou. Jižní průjezd nese raněrenesanční vstupní portál z roku 1492, jež zde nechal osadit Ctibor Tovačovský z Cimburka podle majuskulního latinského nápisu na kladí portálu. Ve III. patře věže je osazeno čtvercové okno s renesančním mramorovým ostěním, nad portálem pak erb Kühnburgů a o patro výše erb Davida, rytíře Gutmanna. Z vnitřní strany věže je nad orámovaným průjezdem umístěn barokní alianční erb Salm-Neuburgů a Schleswig-Holstein-Sonderburgů. Pod parapetem okna prvního patra byl původně umístěn alianční erb Ctibora Tovačovského z Cimburka a Elišky z Melic. Vlevo od vstupní věže na západě je zalomené tzv. Vídeňské křídlo, postavené podle návrhu vídeňského architekta – prostějovského rodáka Maxe Fleischera v letech 1890–1892. To stojí na gotických a renesančních substrukcích a reprezentovalo majitele zámku Davida, rytíře z Gutmannů. Schodiště Vídeňského křídla je provedeno ve vídeňském stylu s náročnou výzdobou stěn a oken, štuky, osvětlovadly; benátskými zrcadly, malovanými vitrážemi. Ve Vídeňském křídle jsou apartmá pro vzácné hosty i moderně vybavené koupelny. Na východě k věži přiléhá pozdněrenesančními arkádami prosvětlená obytná budova (podélný dvoutrakt). Místnosti přízemí jsou zaklenuty valenými klenbami s lunetovými výsečemi s hřebínky. V severovýchodním koutě východního křídla je vestavěna (dokončeno 1672 za Salmů) barokní kaple Zvěstování Panny Marie, krytá vysokou kupolí nad oktogonem. Interiér zdobí náročná, raněbarokní výzdoba: štuky, nástěnné malby (autor Johann Steger) ze života Panny Marie, vsazené obrazy (Kristus, Apoteóza rodu Salmů, veduta města Tovačova). Krátký severní trakt má fasádu, členěnou lizénovými rámci, v nejvyšším patře na jihu je tříosá arkáda na kamenných sloupech. Přízemí (v jádru doložena gotická hranolová stavba) má křížové klenby. Interiér zámku obsahuje expozici judaica, ústředním prostorem v patře je ale Rytířský sál s valenou klenbou (ve středu nástěnná malba Paridův soud) s výsečemi. Tzv. sněmovní sál je rovněž zaklenutý štukovým stropem s malbou bitvy u Budína. Výzdoba obou hlavních sálů náleží do 2. poloviny 17. století. Nepřístupné místnosti (I. a II. patra východního traktu) jsou vybaveny kachlovými kamny. K severnímu křídlu je přistavěno přímé schodiště na val a v jeho těle v přízemí tzv. sala terrena s hrotitými oblouky na čtyřech sloupech. Střechy zámku jsou sedlové nebo zvalbené. Krovy jsou dřevěné se stojatou stolicí. Ve věži, přístupné až na vrchol k vyhlídkovému ochozu (zčásti po přistavěném vřetenovém schodišti), je vídeňský hodinový stroj z roku 1930. Přístup k zámku z předzámčí je přes příkop s vyzděnými stěnami. Přemostění je novodobým železobetonovým mostem se stylizovaným obloukem. Parapety jsou zděné, omítané, kryté pískovcovými deskami. Druhé propojení přes příkop parteru před zámkem s nádvořím je ocelolitinovým můstkem. (Chupík, František, in: Orálková 2015)