V první fázi, přibližně poč. 14. století, bylo Rabí nevelkým kamenným hradem donjonového typu. Pozdně gotická přestavba z něj učinila jednu z předních rezidencí v zemi. Systém opevnění nebyl dokončen, přesto představuje jedno z nejvyspělejších dobových řešení ve střední Evropě. Ekonomický krach při výstavbě dokládá nemožnost zvládnutí výstavby kvalitního opevnění v podmínkách rozvoje vojenství poč. 16. stol. Nejstarší jádro hradu tvoří mohutný hranolový donjon (13x19 m) na vrcholu kopce, sevřeno úzkým skalnatým parkánem a ohrazením, v čele jádra na severozápadě předstupuje z okružní hradby lichoběžníková nástupní věž a před východním bokem se rozkládalo předhradí se vstupem do areálu. Donjon měl temné přízemí a byl přístupný dřevěným ochozem z nástupní věže portálem v 1. patře. Obydlí pána bylo ve vyšším patře. K jihozápadní stěně donjonu připojen obezděný záchodový přístavek. Naproti při okružní hradbě přízemní kamenný objekt asi čeledník, v int. sklenuto valenou klenbou. V int. donjonu při severozápadní zdi vložena v r. 1994 dřevěná konstrukce schodiště. Koruna zdiva zajištěná, upraveno jako ochoz. Ve zdivu vidět kapsy po stropnicích a nepravidelně rozmístěné otvory, v ostěních se stopami cihelných dozdívek. V severozápadní stěně v patře lomený kamenný portálek s okosenou vnitřní hranou. Nástupní věž má v patře zaslepený lomený vstup na zaniklou dřevěnou konstrukci spojující věž a donjon. V posledním patře věže zdivo zeslabeno, zachováno ve štíhlých rozvalených nárožních torzech. V interiéru kapsy po stropnicích. Z vnější strany ve stěnách po jedné ose s obdélnými otvory. V přízemí k donjonu půlkruhem ukončený vstup. Ze severovýchodní strany přiléhá k jádru I. hradní nádvoří, patrně z konce 14. stol. S nádvořím souvisely dvě předsunuté věže, severovýchodní později pohltil Břeňkův palác a druhá v torze zachovaná severozápadním směrem od jádra hradu. Nádvoří nepravidelného půdorysu, uzavřené na severní straně obdélným palácem zv. „Nové pokoje“ k němuž ze západu přiléhá pátá hradní brána, na jihozápadu okružní hradbou jádra na nevysoké skalce a z jihovýchodu hradbou. Parkán jádra hradu z I. nádvoří přístupný šestou hradní bránou, která se zachovala v torze se zřícenou severozápadní částí a valenou klenbou v přízemí, ze severovýchodu předložené zděné schodiště. V posledním patře zdivo zeslabeno, koruna nepravidelná. K jihovýchodu v patře velký otvor ukončený cihelným segmentem oblouku, v patě tři kamenné profilované krakorce, nad ním obdélné okénko s kamenným ostěním s okosenou vnitřní hranou. Na nádvoří je studna. Při jihozápadní straně vstup do podzemní šíje a nízké torzo stavení kuchyně. Nové pokoje na severu zachovány do úrovně přízemí, v patře rozvalená torza zdiva a novodobě dlážděná terasa. Otvory v torzech zdiva ukončené segmenty oblouku, v ostěních cihelné zdivo. V přízemí tři vstupy do valeně klenutých prostorů. Vstup ze západní strany vede do víceúrovňových sklepů zasahujících pod I. nádvoří, částečně klenuto valeně, dílem vysekáno ve skále. Pátá hradní brána připojená k Novým pokojům ze západu je hranolová jednopatrová stavba, s připojenou vrátnicí. Průjezd v přízemí klenutý omítanou hvězdovou klenbou, vpravo připojený prostor má valenou klenbu. Otvor průjezdu obrácený do II. nádvoří ukončený lomeným obloukem s kamenným ostěním s okosenou hranou a odrazníky a s nikou pro hřeben, otvor do I. nádvoří ukončený lomeným obloukem. Koruna zdiva vodorovná. V hradbě při jihovýchodním nároží Nových pokojů mladší uzavřená půlkruhová bašta (bateriová věž či JV bašta), ve třetím patře rozeklaná torza zdiva. Na konci 15. stol. rozšíření o II. nádvoří. K Novým pokojům, severovýchodním směrem tupoúhle připojen obdélný palác zv. Břeňkův. Břeňkův palác nad zalomeným obdélným půdorysem zasahuje do II. nádvoří, kde zdivo severovýchodního nároží obsahuje starší předsunutou věž. V patře, přístupném po kamenném schodišti, bývaly dva velké sály a patrně i arkýřová kaple. V posledním patře dnes terasa s novodobou dlažbou, zeď do II. nádvoří zachovaná v torze se třemi velkými otvory ukončenými segmenty oblouku, do příkopu zeď zřícená. Nižší patra sklenuta valenými klenbami, zde vidět spára staré věže a mladšího zdiva paláce. Dnes vstup do paláce ze severozápadní strany novodobým dřevěným schodištěm. Mezi předsunutou severozápadní věží a nástupní věží jádra vložen obytný palác zv. Staré pokoje. Jde o obytný palác na nepravidelném půdorysu, s nepravidelně rozeklanou korunou zdiva obvodových stěn. V interiéru vidět kapsy po stropnicích a zejména na západní stěně zbytky omítek. V jižní části do parkánu obrácený fragment stavení pekárny. Při severovýchodní stěně Starých pokojů vedla cesta (asi krytá) k páté hradní bráně. V čele cesty stávala čtvrtá hradní (tzv. Žižkova) brána, dnes nepatrná přízemní torza zdiva. Mezi Starými pokoji a Břeňkovým palácem rozměrná cca obdélná nádrž, dnes mělká se stěnami z lomového kamene. Severně při nádrži zachováno přízemí konírny, nad obdélným půdorysem, podélnou osou orientováno ve směru V-Z. V podélné stěně k nádrži dvě malá segmentem ukončená okénka a vstup. V úrovni podlaží prvního patra zatravněná plocha s nízkými fragmenty příčného zdiva v západní části. Vstup z východu, prostor zaklenutý valenou klenbou se širokými výsečemi. Kolem celého komplexu postupně budováno mohutné vnější opevnění. Na východě k hradbě I. nádvoří připojena již zmiňovaná bateriová věž. Na jihozápadní a západní straně zaujala vrchol valu před starším příkopem mohutná hradba, doplněná dvojicí otevřených velkých bašt. Jihozápadní bašta nad půlkruhovým půdorysem, západní bašta polygonální. V blízkosti bašt zděná schodiště. V jihovýchodní baště nízké fragmenty zdiva hranolové bašty související pravděpodobně se starší subtilnější hradbou. Podobný fragment zdiva je na jižní straně polygonální bašty. Na severní straně val zrušen a hrad rozšířen mohutnou hradbou, zpevněnou zaoblenou severní baštou a na východě obrovským torionem. Do nového opevnění se z městečka vcházelo systémem tří bran. První a druhá hradní brána byly v tzv. příhrádku u paty torionu. Jednalo se zřejmě o hranolové věžovité stavby, dnes pouze torza zdiva. Třetí hradní brána v závěru příhrádku je součástí hlavního opevnění. Hranolová stavba v přízemí s otevřeným průjezdem. Čelní vjezd ukončen tudorským obloukem a s vpadlinou pro hřeben. Korunu silné hadby ukončoval střelecký ochoz, výhled zlepšovaly dvě hranolové věžičky v severním úseku. Stěny bašt i hradby prolamují střílny. Opevňovací okruh nebyl dokončen a na jihovýchodě byla nedostavěná vnější hradba zakončena slabou příčnou hradbou uzavírající hradní příkop.