Holterhuset i Store Strandgate ble bygget i 1850 av Torstein Martin Langlie. Han hadde siden 1842 drevet en skole i Hølen, og det nye huset ble både skolestue og hans hjem. Skoledriften i bygningen opphørte ved hans død i 1878. I 1870 ble Langlie også poståpner, og snekret selv sammen de nødvendige skrivepultene og hyllene. Poståpneriet lå i Holterhuset inntil 1972, da et postkontor ble åpnet i nye lokaler.
Fra 1847 hadde Hølen poståpneri, som var et av de første i Follo. Det lå først i Røttergården, og ble i 1870 flyttet til Holterhuset (se nedenfor). I 1943, kort tid før sammenslåingen med Vestby, ble det opprettet postombæring i Hølen, med et postbud som var lønnet av kommunen. Dette ansvaret ble overtatt av Vestby kommune, som betalte for postombæring inntil Postverket tok over i 1970 og utvidet tilbudet til omegnen rundt Hølen. Et nytt postkontor ble åpnet i 1962. På 1990-tallet begynte Posten å legge ned mange kontorer, og for å redde Hølen postkontor ble biblioteket flyttet inn i samme lokaler. Biblioteket ble åpnet i 1901, og var opprinnelig bare et bokskap i skolestuen. I 1908 ble det plassert sammen med poståpneriet i Holterhuset, inntil det fikk egne lokaler i Kommunegården i 1927. Deretter, fra 1936 inntil det ble flyttet til det nye postkontoret i 1996, var det plassert på skolen.
Omkring 1900 ble det åpnet kommunale kontorer der. Kunstmaleren Karl Johan Holter fungerte dermed som poståpner, kemner og ligningsfunksjonær. Fra 1908 til 1927 var det offentlig bibliotek i huset, med en liten boksamling som Holter bestyrte. Han var også ansvarlig for den lokale trygdekassen og for kassen til Hølen Elektricitetsværk. Fra 1912 til 1975 var det også telefonsentral i Holterhuset.
I 2005 åpnet «Karl Johans café» i huset, med serveringssted, bokkafé og brukthandel.
I dag drives kafeen som Hølen Kafé og er et samlingspunkt for alle i Hølen, og alle som besøker landsbyen vår.. Her kan man nyte god mat og drikke inne og ute. Det holdes konserter, quizer, spillkvelder og mye annet. Du kan også booke lokaler til møter, private selskaper, minnestunder o.l. på Hølen Kafe.