Původní pomístní název používaný zdejším obyvatelstvem v průběhu 19. století je Kickelsburg či Kickelsberg. Spojení lokality Milčany s hradem Vítkovcem se objevilo u A. Sedláčka, ale v současné době je definitivně vyvráceno. Lokalita Milčany je pouze mladší fází panského sídla, pozůstatky starší fáze se nachází na ostrůvku v dnešním Milčanském rybníku (KP 5-2963 Milčany I). Staveniště bylo situováno na nevýraznou pseudokupu pískovcového podloží, kde v pozdějších dobách probíhala masivní těžba kamene a většinu areálu nevratně poškodila. Z původního trojúhelného areálu hradu se do současnosti dochoval nad povrchem terénu znatelný pouze pozůstatek nároží zděného objektu bez bližšího určení funkce, pravděpodobný pozůstatek příkopu na SV konci a téměř neznatelný pozůstatek obvodové hradby projevující se jen jako antropogenní georeliéf. Zdícím materiálem konstrukcí byl zdejší pískovec hrubě opracovaný do kvádrů se zaoblenými rohy a skládaný pečlivě do řádků zdiva s využitím šíbrů. Líce zděné na hrubou vápennou maltu jsou vyplněny sypaným jádrem. Ve zdivu se nacházejí kapsy 30x30 cm coby pozůstatek konstrukce trámového stropu. Menší obezděné kapsy v liniích cca 90 cm nad sebou jsou pozůstatkem visutého lešení.