Dům se nachází blízko horního konce Plešivecké ulice, resp. v uličce Na Skalce z této komunikace vybíhající. Domek je zasazen do svahu příkře spadajícím k Vltavě. Svou severní stranou těsně navazuje na výše položený dům čp. l08, který stojí na rohu Plešivecké ul. a ulice Na Skalce. Dům čp. 106 je přístupný jen přes zahradu čp. 536/3, k níž vedou podél východní strany domu čp. 107 úzké schody, napojující se kolmo na ulici Na stráni. Vstupní stranou je jeho východní strana.