Stavební vývoj letohrádku proběhl ve třech etapách, o jeho nejstarší podobě se můžeme jen dohadovat. Další podobu získal za přestavby za Vladislava Jagellonského v letech 1495-6, o jeho přesné podobě se můžeme domýšlet, dochovala se z ní alespoň schodišťová věž a okna přízemí vnitřního paláce, které jsou dílem kameníka z huti Benedikta Rejta. Na výzdobě se podle pramenů podílel malíř Oldřich Vlach. K radikální přestavbě došlo na počátku vlády Rudolfa II., kdy byl postaven ochoz v dnešní základní hmotě s křížovými klenbami v patře, byl zaklenut patrně i vnitřní trakt. Předlohou pro přestavbu byl letohrádek Matyáše Korvína v Nyeku. K radikálně přestavbě mezitím zdegradovaného objektu došlo na počátku 19.století v neogotickém stylu patrně podle projektu F.J.Jondla nebo J.Fischera. Letohrádek se tak řadí k nejstarším romantickým stavbám u nás. Letohrádek byl postupně modernizován, r. 1913 bylo instalováno elektrické osvětlení. Letohrádek stojí na obdélném půdorysu s hranolovou věží připojenou k nároží. Věž, ve které je umístěno schodiště, výrazně převyšuje budovu. Je členěna pilastry, které nesou obloučkový vlys. Věž je proražena několika lomenými okny, ve výši druhého patra sdruženými s kružbou v parapetu. Ve spodní části jsou ve zdivu odhaleny fragmenty gotické stavby. Věž je završena zděným kružbovým zábradlím s motivem trojlistu, v rozích s fiálami na soklech. Fasáda budovy je rytmizována válcovými pilastry, nesoucími obloučkový vlys. Průčelí do zahrady je v obou patrech stejné - v poli mezi pilastry jsou dvojice lomených oken, a malý kosočtverec nad nimi.Obdobně je řešeno průčelí do dvora, kde jsou některé osy slepé. Boční průčelí do zahrady má v přízemí velká arkádová okna s dřevěnou kružbou, v patře jim odpovídají lomená okna ve zrychleném rytmu. V parapetu mají kružbová pole. Kompozici spojuje velký lomený oblouk. Ze střechy vystupuje atikové kružbové zábradlí, přerušované pilířky s fiálami.