Es gibt sowas wie JumboFrames. Frames werden von einem Switch verwaltet. Nein, keine Pakete. IdR sind switche nämlich Layer2 und nur Layer3-Switche können IP-Fragmentierung. Für Layer2-Switche gilt: "Can't touch this, dadadada..."

Wenn du also auf dem Router, auf dem Server und auf deinem lokalen Rechner bspw. die MTU 9000 einstellst, vermeidest du Overhead (es müssen nicht viele neue Pakete aufgemacht werden, weil sie nicht durch die MTU vom nächsten Hop passen) somit spart man sich auch CPU.
In gewissen gerinfügigen Aspekten kannst du somit auch unbedeutend die Latenz verringern.
Für lokale Netzwerke lohnt sich das. Wenn der Server auch von aussen erreichbar ist, solltest du dir ein zweites Interface mit einer geringeren MTU anlegen oder PMTUD-Frickeleien über IPv6 basteln.

Glasfaser ist immer eine gute Option. FUCKING LAZERS! PEW PEW!