Das andere Zeug wird dabei gar nicht betroffen sein (du dropst ja nur am Port). Und ja du müsstest entweder die IP ständig ändern oder du besorgst dir eine statische IP in Form eine VPNs oder Proxys. Du kannst auch ein VPN auf deinem Server machen und generell nur Zugriffe vom virtuellen Netzwerk auf VNC zulassen.