Nach einem Maskenball in Wetzlar verstirbt Ambrosius Franz von Virmond plötzlich. Da die Kinder aus seiner ersten Ehe mit Eleonore von Bentheim alle früh verstarben und die zweite Ehe mit Maria Elisabeth von Nesselrode kinderlos bleibt, stirbt das Haus Virmond mit dem Tod des Kammerrichters aus.

Schloss und Herrschaft Neersen fallen nach einem langen Prozess 1763 zurück an das Kurfürstentum Köln.