Vielleicht ist Arch Linux etwas für deinen Zweck. Bei mir ist die letzte Nutzung ein paar Jährchen her, aber im Prinzip ist es so dass du da nicht so den riesen Installer am Start hast sondern erstmal in einer Konsole anfängst, ein paar Grundeinstellungen machst, Systemdateien kopierst etc. irgendwann ein chroot auf das neue System machst und nur wenn du dann später möchtest eine GUI dazu installierst. Und wenn du halt keine brauchst bleibst du dabei. Das ist zwar von der Installation her ein bisschen mehr Aufwand als bei vielen anderen Distributionen, aber du hast mehr Einfluss auf das was installiert wird und die Doku bei denen ist verhältnismäßig echt gut, also durchaus machbar wenn man ein bisschen Geduld mitbringt.