Het uiterlijk van Huis Bergh heeft te lijden gehad onder vele aanvullingen, wijzigingen en brand. Door die bewogen geschiedenis dreigde het in verval te raken. In 1912 kocht de Enschedese textielfabriek J.H. van Heek het kasteel en werd Kasteel Huis Bergh in oude luister hersteld. Niet alleen kreeg het kasteel zijn grandeur terug, het werd tevens de vaste plek voor een door Van Heek aangelegde prachtige verzameling middeleeuwse kunst.