Barokní kaple sv. Viléma se nachází na křižovatce u obchodního domu Říp jihozápadně od centra města na Purkyňově náměstí. Neorientovaná omítnutá stavba obdélného půdorysu s mělkým pravoúhlým závěrem je vsazena do kamenné zídky vymezující zahradu domu č. p. 671 (býv. novobarokní okresní sirotčinec z počátku 20. století), které je součástí. Kaple je vystavěna z lámaného kamene, omítnuta, zastřešena kupolí s výraznou lucernou. Krytinu tvoří bobrovky. Na jihovýchodě kupole prostupuje zvonice, která vrcholí konvexně vzdutou profilovanou korunní římsou. Do tří stran je otevřená kasulovými okny. Vstup do kaple zpřístupňuje 9 schodnicových stupňů. Hlavní průčelí je konkávně projmuto a završeno štítovým nástavcem s projmutými bočními stranami a zakončeným konvexně vzdutou profilovanou římsou (v něm se měla nacházet v minulosti freska od Václava Vařince Reinera) s kovaným křížem ve vrcholu. Nároží jsou zkosena a zvýrazněna svazkovými pilastry nesoucími kladí s bohatě profilovanou římsou. V ose hlavního průčelí je umístěn profilovaný pravoúhlý portál s ušima a kapkami v horních rozích, který je zakončený prolomeným segmentovým frontonem supraporty nesenou konzolkami. Výplní jsou železné dvoukřídlé dveře. Na koncích prolomeného segmentového frontonu supraporty sedí dva putti přidržující alianční lobkowiczko-althanský erb. Jedná se o dvě k sobě přikloněné kartuše, nahoře i dole ukončené volutou a akantem a nesoucí oválná znaková pole. Kartuše jsou položeny na rozložený plášť splývající z knížecí koruny. Štít heraldicky vpravo je polcený a dvakrát dělený se čtvrceným středním štítkem. První a čtvrté pole středního štítku je dělené, ve druhém a třetím je orlice. V prvním poli hlavního štítu čelně hlava zubra, ve druhém čelně vyrůstající anděl, ve třetím hvězdy a trojvrší, ve čtvrtém lev, v pátém tři kůly a v šestém orlice. Heraldicky vlevo je štít pokrytý damaskováním, s břevnem, ve kterém je stylizovaná unciála „A". V jednotlivých nárožích kaple byly umístěny celkem 4 sochy (dochovány dvě, a to v hlavním průčelí). Vedle štítového nástavce se nacházejí sochy sv. Jeronýma a Marie Magdalény. V pravém nároží se nalézá socha sv. Jeronýma. Je znázorněn jako polonahý poustevník pouze s bederní rouškou kolem pasu. Svalnatá postava má propracovanou muskulaturu, záda jsou mírně ohnutá. Tělo má esovitě prohnuté, stojí na pravé noze, levou má vykročenou a prsty přesahují přes čtvercový plintus. Obličej rámují dlouhé vlasy, splývající na záda. Tvář má pokrytou dlouhým vlnitým plnovousem, který zakrývá hruď a spadá až k bederní roušce. Oči do široka otevřené, pohled směřuje dolů, ústa jsou pootevřená. Nad mohutnými nadočnicovými oblouky jsou vodorovné vrásky. Pravá ruka je volně položena na skalní blok. Levá ruka mírně ohnutá v lokti nese oválný kámen, který je zespodu nadnášen puttem. V levém nároží hlavního průčelí je umístěna socha sv. Máří Magdalény, která je znázorněna jako nahá kajícnice, kterou zahalují zprava jen její dlouhé vlnité vlasy. Světice stojí v kontrapostu na levé noze, pravá je výrazně pokrčená. Tělo je mírně esovitě prohnuto, hlava je skloněna k pravému rameni, pohled směřuje dolů. V otevřené dlani levé ruky nese lebku. Pravá ruka je pokrčená v lokti, prsty svírající kříž směřují šikmo k obličeji. Sochy jsou umístěny na plintu, který přímo navazuje na nízký sokl s konkávně projmutými hranami. Ve spodní části se sokl volutově rozšiřuje. Středy stran dříku zdobí rolverková kartuše. Boční průčelí jsou členěny lisénovým rámem. Prostupuje ho jedna okenní osa zaklenutá stlačeným obloukem, rámují je profilované štukové šambrány.