Kann keine konkrete Hilfe geben, da ich mich mit Visual Basic jetzt nicht so direkt auskenne. Aber momentan scheinst du ja nur den Eintrag zu löschen, der an Stelle X makiert wurde?!
Versuch mal in die (in diesem Beispiel von Button1_Click) if-Verzweigung etwas wie
ListBox1.Items.Add(ListBox2.Items.Item(X).ToString )
hinzuzufügen... natürlich bevor du es löscht.