Het huis kent een roemrucht verleden met als bewoners de adelijke familie Van Hugenpoth die er in de 18e en 19e eeuw resideerde. Daarvoor werd het bewoond door de Heer Van Aerdt, een rijk en machtig man wiens invloed zelfs tot in Den Haag reikte; hij had een zetel in de Eerste Kamer. Aan het einde van de 19e eeuw verloor Huis Aerdt zijn regionale functie en kwam in bezit van de familie Van Dorth tot Medler. In Duiven is een straat naar deze familie genoemd. Na de Tweede Wereldoorlog hing het voortbestaan van Huis Aerdt aan een zijden draadje; de oorlogsschade was groot en geld voor restauratie ontbrak. In 1961 werd het pand voor het luizige bedrag van f 1,00 ‘verkocht’ aan de Stichting Vrienden der Geldersche Kasteelen’ en werd Huis Aerdt in oude glorie hersteld.