Budova zámku je komponována jako uzavřená, čtyřkřídlá, dvoupatrová, částečně podsklepená dispozice, krytá mansardovou střechou, krytina je šindelová, zdivo stavby smíšené. Vstupní, východní křídlo je členěno mělkým, centrálně umístěným rizalitem, rizalit západního křídla je doplněn dvěma nárožními válcovými arkýři. Vnější průčelí jsou hladká, nečleněná, ukončená dřevěnou profilovanou korunní římsou, v omítkách západního a jižního průčelí do dochovaly fragmenty renesančních sgrafit v podobě obdélníků, z jejichž stran vyrůstají dovnitř trojice tulipánovitých květů. Pravoúhlá okna jsou lemována renesančním ostěním, okna ve vstupním křídle byla upravena barokně. Severní, dodatečně vestavěné pozdně barokní křídlo, je nižší než křídla renesanční. Dvorní průčelí jižního, západního a částečně východního křídla jsou členěny třemi podlažími arkád: v přízemí a v 1.patře je arkáda nesena toskánskými sloupy, má kuželkové zábradlí a ve cviklech jemné reliéfy. Jednotlivá pole arkád jsou zaklenuta křížovými klenbami. Ve 2.patře je arkáda plochostropá, je nesena dřevěnými sloupky. Dvorní průčelí severního křídla je členěno vysokým pilastrovým řádem, v přízemí je severní křídlo zaklenuto barokními křížovými klenbami, patro je plochostropé. V přízemí v ose vstupního, východního křídla je umístěn průjezd, zaklenutý třemi poli hřebínkové křížové klenby, z průjezdu se vlevo nastupuje na barokně klenuté schodiště. Vstupní pískovcový portál s půlkruhovým záklenkem, flankován pilastry s římsovými hlavicemi, jež nesou profilovanou římsu se dvěma vázami. Portál v jihozápadním rohu nádvoří má půlkruhový záklenek. Profilované kladí s vavřínovým věncem leží na oblouku členěném a výtvarně pojednaném stejně jako archivolty arkád, pouze rozety jsou plastičtější. Ve vrcholu je žerotínský znak, v nárožních cviklech jsou dva alegorické výjevy. V levém černoušek s lebkou a tabulkou s latinským nápisem "Memento mori". Protějšek tvoří černoušek s přesýpacími hodinami a nápisem "Hodie mihi, cras tibi" (dnes mně, zítra tobě). Oblouky všech travé arkád jsou v příčném i podélném směru zajištěny kleštěmi. Archivolty, cvikly podnoží sloupů v přízemí a v 1.patře a samostatné postamenty v balustrádě jsou zdobeny reliéfy s různými figurativními, rostlinnými a geometrickými motivy. Patra jsou oddělena profilovanou římsou s průběžným vavřínem ovinutým stuhou. Arkády vyplňují celé dvorní průčelí jižního a západního křídla, arkáda ve dvorním průčelí východního křídla má pouze dvě klenební pole, zbytek průčelí je tvořen hladkou fasádou, prolomenou okenními otvory. V horním patře arkád jsou mezi dřevěnými kuželkami pískovcové sokly. V loggii 1.patra je zachováno okno ze skleněných terčů zatavených do olova. V jižním křídle jsou v interiéru 2.patra zachovány nástěnné malby. Mezi reliéfní výzdobou cviklů vyniká žánrový výjev "Zaječí hon". Další neobvyklý reliéf představuje hlavu mořské panny doplněnou ornamenty, rozety zdobící archivolty jsou nahrazeny mušlemi. V přízemí arkád jsou na spodní straně některých archivolt zachovány kamenické značky. Ve výzdobě arkád v patrech jsou umístěny reliéfně zpracované erby majitelů zámku: Ve 2.patře na hlavních soklech to jsou znaky Jana Nepomuka Podstatského z Prusinovic (čtvrcený štít, v 1. a ve 4.poli jelení parohy, ve 2. a ve 3.poli stojící lev) a jeho druhé manželky Johanky, hraběnky ze Žerotína a Frankenbergu (na štítě vpravo hledící žerotínský lev). Pod nimi v kartuších na cviklech jsou umístěny erby stavebníka zámku Karla ze Žerotína (na štítě vlevo hledící lev, stojící na trojpahrbku) a jeho manželky, Johanky Černčické z Kácova (dvě lekna). Ve vedlejším cviklu je zobrazen okřídlený kůň Pegas a ve cviklu nad ním dvě k sobě obrácené hlavy staršího a mladšího muže. Vpravo na posledním cviklu spodní řady je reliéf ve zbroji - obdélníková pavéza, za níž jsou naaranžovány kopí, sudlice a hřeby okovaný cep - u tohoto cviklu je použit architektonický prvek - od hlavice sloupu dopředu obrácený pískovcový náběžník. Severní, pozdně barokní jednopatrové křídlo má hladké dvorní průčelí, opticky členěné vysokým pilastrovým řádem s iónskými hlavicemi a páskovým ornamentem na liché arkády. Přízemí severního křídla je otevřeno dvěma širokými oblouky podloubí. Na západní fasádě věže, umístěné v severovýchodním nároží, jsou sluneční hodiny, vyzdobené obrazem Zdeňka Marečka, pocházejícím z počátku 19.století a zachycujícím pohled z náměstí na kostel a na zámek.