Zřícenina hradu Kaltenštejn je situována na kopci s plochým, pozvolna klesajícím temenem. Na nejvyšším místě kopce se nacházelo jádro hradu. K němu se na severozápadě připojovalo dvoudílné předhradí doplněné parkánovou hradbou. Toto trojdílné uspořádání později obklopil parkán, chránící hradní areál z jihu a ze západu. Zdivo kvalitní, vrstvené. Hrad neměl příkop. Celková rozloha měla maximální rozměry 115 × 70 m. Hradní jádro bylo tvořeno válcovou věží – bergfritem, dvoudílným palácem a hradební zdí se vstupní bránou. Z nadzemního zdiva bergfritu se dochovala severozápadní polovina, jejíž výška dosahuje 20 m. Průměr věže byl 10,6 m, síla zdi 4,7 m s vnitřní šachtou o průměru 1,97 m, ve výšce cca 9 m se zdivo ztenčuje na šířku 2 m a vnitřní průměr činil přes 6 m. V základové partii je dvojnásobné odsazení soklu, od přízemí do prvního patra jsou v líci zdiva dochovány trámové kapsy někdejšího točitého schodiště. Ve výšce 6 m od současné úrovně terénu, je na severovýchodní straně stěna kdysi omítnuté chodby s dochovanými segmenty portálů, opracovanými do čtverhranu s mírně okosenými hranami. Uvnitř jsou u vstupů patrny otvory pro zasunutí závor. V severní části pláště se ve výši cca 7–8 m od základové spáry nachází obdélný štěrbinový větrací otvor. Uvnitř bergfritu v úrovni přízemí jsou znatelné kamenické značky v líci lomových kvádrů ve tvaru písmene P a L. Na dně šachty bergfritu na jihozápadní straně je ve vnitřním plášti výklenek s nikou vysoký 1,6 m, široký 0,6 m a hluboký 0,49 m. Pod ním se nachází podzemní, do skály vylámaný, vyzděný a zaklenutý prostor hluboký 2,05 m o rozměrech 0,88 × 0,89 m. Na počátku 16. století byla východní část bergfritu odstřelena a pozůstatky kompaktního zdiva dodnes leží na místech dopadu na předhradí i v okolí hradu. Východně od bergfritu se nachází pozůstatky paláce (10 × 10 m) s jednou polovinou podsklepenou a překlenutou valenou klenbou. Kolem hradního jádra jsou místy dochovány zbytky hradby silné 1,5 až 2 m. Severovýchodně od věže u skalního výchozu na ni navazovala zeď o síle 2 m chránící první předhradí. V místě styku prvního a druhého předhradí na severní straně jsou dochovány zbytky portálu branské budovy. Druhé předhradí, méně svažité bylo chráněno zdí silnou cca 1,7 m. Šířka zdí parkánu je 1,1 m, kámen je pojen kvalitní maltou. Od jihovýchodu podél parkánové zdi vedla přístupová komunikace, která do vnitřního prostoru vstupovala dosud zachovanou, ale značně porušenou bránou. Severozápadně od vstupní brány je v parkánové zdi zasazená flankovací věžice, pravoúhlá, dovnitř otevřená a před hradbu vystupující až o 1,9 m. Areál hradu je porostlý listnatým lesem. Předhradí, včetně dochovaného zdiva, hustě pokrývá porost mladých buků.