De trekpleister van ’s Heerenberg is het kasteel Huis Bergh. Het kasteel beschikt over een grote collectie schilderijen van Italiaanse meesters. De bouwgeschiedenis van het kasteel begint in het jaar 1250, maar de belangrijkste nog bestaande delen dateren uit de 14de, 15de en 17de eeuw. In de Tachtigjarige Oorlog had Huis Bergh veel te lijden van het oorlogsgeweld, terwijl het in 1735 geheel uitbrandde.
Het oude stadje heeft nog deels een stadsomwalling. Het Neije Raethuys werd in 1531 gebouwd In de kelder bevond zich een gevangenis en nu staat er voor het raadhuis nog een schandpaal. Het raadhuis werd in de jaren 1914-1918 gerestaureerd. Verder is er ook nog de Boetselaersborg, een kasteeltje dat in 1550 werd gebouwd door de gebroeders Daem en Hector van den Bergh, bastaardzonen van Graaf Willem III van den Bergh en de waardin Lyse Poer van een ’s Heerenbergse herberg. De gracht om het kasteeltje is gedempt.