Van de 12 eeuw t/m de 20 eeuw is het kasteel bewoond geweest. Een belangrijke rol hebben verschillende heren en graven Van den Bergh gespeeld in de geschiedenis van het gebied. Een aantal heren en graven hebben zelfs op landelijk niveau geschiedenis geschreven. Willem IV graaf Van den Bergh heeft in de Tachtigjarige Oorlog