Voor 1450, bij de eerste uitleg over de stad, werden de huizen aan deze zijde van de Marktstraat gebouwd. Zoals de naam al doet vermoeden was van oudsher hier op de Marktstraat 4 een herberg gevestigd.
In 1929 verkocht de laatste herbergier, hotelhouder en drukker Verwaaijen, het aan de gemeente Bergh, die het in 1936 restaureerde en inrichtte tot ambtswoning voor de burgemeester. Sinds 1980 is het een onderdeel van het gemeentehuiscomplex.
In den Swaen (Marktstraat 4)
Kasteel Huis Berghlandschap