Kostel Všech svatých se nachází na samostatném ostrohu v severovýchodní části obce. Jedná se o jednolodní neorientovanou stavbou s lodí vystavěnou na půdorysu obdélníku a odsazeným, polygonálním závěrem, směřujícím k severovýchodu. K severozápadní stěně závěru je přistavěna věž. Výzdoba fasády je redukována pouze na výpravné neoslohové hlavní průčelí. Postranní osy průčelí jsou určeny úzkými, téměř štěrbinovými, okénky s okosenými hranami. Štít je zespod lemován stupňovitým vlysem. Společně s průčelím byla při jeho jižní straně vystavěna i schodišťová věž. Náznakovým obloučkovým vlysem s hrotitými záklenky byla dozdobena i korunní římsa věže při závěru, ale to až na úplném konci století (1899). Gotické zdivo lze předpokládat v celé východní části kostela, a stejně tak je v jádru gotická i severozápadní věž a zdivo lodi. Mělký závěr je sklenut paprsky žebrové klenby a v důsledku jeho rozměrů zde absentuje příčně položené obdélné pole chóru. Stejně jako např. v kostele sv. Václava v Nehvizdech (okr. Praha-východ, 2. polovina 13. století) zde bylo užito mělkého závěru a redukovaného klenebního obrazce z dané situace vycházejícího. Klenební žebra jsou v presbytáři kostela v Olešce profilována hranolem s okosenými hranami. Spadají na jednoduché konzolky tvaru komolého jehlanu s čtvercovými krycími deskami a konkávně modelovanými stranami, příp. i výžlabkem probranými hranami. Vzhledem k povaze architektonických článků, užitých v závěru kostela, lze tuto část datovat do druhé poloviny 13. století. Severní stěna závěru je směrem do sakristie prolomena pravoúhle uzavřeným, bohatě profilovaným portálem – mělká, ale široká profilace se relativně vysoko nad zemí zalamuje směrem dovnitř portálu (snad kol. 1500). V roce 1888 došlo k sjednocující pseudoslohové přestavbě. Na starší, gotické, zdivo navázalo nové štítové průčelí, definované na osu posazeným portálem a kruhovou rozetou. Předmětem ochrany je kostel Všech svatých, fara, hospodářská budova a ohradní zeď s branami.