Achter de kerk ligt in het centrum van Mheer een fraai kasteel, waarvan de oudste delen werden gebouwd in de 14e eeuw. Het kasteel wordt bewoond door graaf Diederik Degenhardt de Loë, telg uit een familie die het bouwwerk al sinds de 17e eeuw in haar bezit heeft. Het complex bestaat uit vier vleugels rond een binnenplaats die geopend is voor het publiek.