Původně gotická tvrz byla v letech 1560 – 1564 za Jana staršího z Lobkovic přestavěna na jednopatrový renesanční zámek. Stavbou byl pověřen mistr Jakub, který navrhl uzavřenou čtyřkřídlou dispozici, která se stala později základem ranně barokního zámku. Po roce 1613 vlastnili Libochovice Štemberkové, kteří byli nuceni z ekonomických důvodů prodat panství roku 1676 Gundakerovi z Dietrichsteinu. Tento rakouský šlechtic se rozhodl zámek, který byl po dvou požárech (1624, 1661) ve špatném stavu, kompletně zrekonstruovat. Přestavby se v roce 1680 ujal roudnický architekt Antonio della Porta a hlavním polírem byl Tomasso Bernasconi (Bernášek). Porta na Dietrichsteinovo přání zapojil do novostavby i starší části zámku, a to včetně vnitřního vybavení. Kromě přestavby zámku se započalo i s celkovou úpravou parku a s výstavbou hospodářského dvora, pro který opět nakreslil plány A. Porta a jeho dokončením roku 1697 vrcholí stavební aktivity v zámeckém areálu. Dvoupatrový zámek má čtyřkřídlou uzavřenou dispozici. Jižní průčelí, které směřuje k řece Ohři je postaveno na vysoké podezdívce zděné z velkých pískovcových kvádrů, která je od horní části oddělena mohutným oblounem průběžné římsy. Fasádu s dvouosým rizalitem dělí čtrnáct okenních os, které jsou ve zvýšeném přízemí a v 1. patře doplněny čtyřkřídlými šestitabulovými rámy a ve 2. patře čtvercovými dvoukřídlými rámy dělenými opět na šest polí. Okna osazená v líci zdiva mají v přízemí segmentový a v patře trojúhelníkový fronton. Otvory jsou rámovány šambránou se zdvojenou obvodovou lištou, která je doplněná ušima s kapkami. Parapety jsou vymezeny profilovanými podokenními a pásovými patrovými římsami, vnitřní pole jsou zdobena motivem psaníčka. Průčelí je mezi okny rytmizováno různě tvarovanými vpadlými rámci, které jsou od okrové fasády odlišeny červenou barvou. Plochy v přízemí tvoří obdélná pole s konklávně vykrojenými rohy, naopak rámce v 1. patře mají horní a dolní čela konvexně vydutá, v posledním patře jsou pole v podobě kříže. Nároží jsou zvýrazněna kamennými pilastry. Horizontálně je průčelí členěno plochými patrovými římsami a deskovou korunní římsou, kterou nesou volutové konzoly doplněné na spodním okraji kapkami. Východní fasáda zámku se obrací na východní parter, do kterého vede ze zvýšeného přízemí dvouramenné schodiště. Terasa se schodištěm je umístěna před středovými osami, které tvoří dva vstupy do salla terreny, které jsou kryté žaluziovými dveřmi. Pod schodištěm jsou tři segmentově zaklenuté zaslepené osy, kterými se vstupovalo do zámeckých sklepů. Vchody jsou zdobené pásovou rustikou a po stranách umístěnými zdvojenými hladkými pilastry. Průčelí je prolomeno v každém patře deseti osami a jeho členění se shoduje s jižní fasádou. Severní strana zámku je směrem od náměstí pohledově zúžena gotickou kaplí s prampouchem, který dělí fasádu na dvě části. Levá strana má pět os a je opět rytmizovaná shodně s východním a jižním průčelím. Čtvrtou osu zleva tvoří hlavní vstupní portál, který je ozdoben dietrichštejnským znakem. Vchod po stranách rámují svazkové pilastry vyzděné z bosovaných pískovcových kvádrů. Rozeklaný segmentový štít nese bohatě profilovaná korunní římsa, která je zdobená triglyfy s kapkami umístěnými nad hlavicemi pilastrů. Ve středu římsy je osazený velký erb doplněný po stranách štítonoši v podobě lvů a putti. Oblouk segmentově zaklenutého vstupu zvýrazňuje jemně profilované ostění, které je ve vrcholu doplněné maskaronem. Světlík vstupních dveří, který je paprskovitě rozdělen na několik částí, odděluje od veřejí konvexně zvlněná římsa. Vyřezávaná klapačka je v horní části ukončená volutovou konzolou, boční křídla mají rámovou výplň dělenou na šest vpadlých polí. Západní strana průčelí je pětiosá, okenní osy dodržují základní rozvržení, nejsou však rytmizovány štukovými rámci. Pozůstatkem původní renesanční stavby jsou pod úrovní terénu zapuštěná okna a sgrafitová výzdoba fasády pod prampouchem. Západní průčelí se obrací do západního parteru, který je přímo ze zámku přístupný terasou se schodištěm, která je situovaná při pravé straně fasády. Terasa je doplněna kovaným zábradlím zdobeným esovitými a spirálovými motivy. Průčelí je v každém patře prolomeno osmy osami v rytmu 4 – 2 – 1 – 1, 5. a 6. osa z leva tvoří sdružená okna, která mají oproti ostatním okenním otvorům přímé nadokenní římsy. Parapet sdruženého okna v 1. patře je sestavený z kamenných článků a je podpíraný konzolami, osa je zdůrazněna také malou stříškou (opět z pískovce) nad horní římsou. Nepravidelnému členění fasády odpovídá i rozvržení štukových polí, která jsou dle potřeby zúžena nebo naopak rozšířena. Nádvoří zámku je v přízemí rytmizováno arkádovým ochozem zaklenutým křížovou klenbou, pouze na severní straně je pět arkádových oblouků zazděno a proraženo okny. Slepé arkády člení také 1. patro kratších křídel, zatímco severní a jižní strana jsou doplněny vysokým řádem. Pětiosá a sedmiosá křídla zámku dodržují základní členění okenních otvorů, jen nad okny 1. patra se pravidelně střídají segmentové a štítové frontony. Pilíře vysokého řádu jsou zdobeny rustikou a ukončeny profilovanou hlavicí. Oblouky arkád jsou zvýrazněné štukovým ostěním, které je přetnuté hlavním klenákem s motivem penízků, cvikly mají diamantovou výplň. Valbová střecha zámku je krytá vlnitým plechem, do krovu jsou proraženy malé čtvercové vikýře se sedlovou stříškou, doplněné po stranách volutovými křídly, na severní straně je štíhlá výška s lucernou a cibulí. V interiéru zámku se v přízemí východního křídla nachází velká salla terrena dokončená roku 1688, která je zaklenuta křížovou klenbou, kterou vynášejí čtyři toskánské sloupy. Prostor je bohatě vyzdoben freskami antických zřícenin na stěnách a štukovými motivy mořských tvorů na stropě, které oddělují pásy vyskládané z říčních škeblí. Autorem výzdoby salla terreny je pravděpodobně Domenico Gaggio, malby v jednotlivých sálech zámku jsou dílem Giacoma Tencalli a Giuseppa Mundoniho. Druhým významným prostorem na zámku je Saturnův sál, který prostupuje přes dvě patra. Zvlášť výtvarně cenný je velký krb, jehož římsu podpírají dvě postavy černochů od sochaře Jana Brokoffa, nad římsou je umístěn velký štukový reliéf znázorňující boha Saturna, kterého obklopují čtyři amoreti symbolizující čtyři roční období. Velká plátna, která zdobí stěny sálu jsou dílem barokního malíře Christiana Schrödera a velké řezané rámy jsou opět od Jana Brokoffa.