1561 dateien vergleichen und doppelte ZEILEN löschen

[Schlumpf2009]

aloa freunde des gepflegten codens :lol

ich brauche mal wieder einen denkanstoß

Ramenbedingungen

arbeitszeit des prozesses uninteresannt ( wenn es 3 wochen dauert das abzuarbeiten ist egal ! )

Sprache : vb.net 2008 da restcode schon vorhanden zuer weiterverarbeitung

Quelle : textdateien auf ext platte H: ( alle ca 17MB - 53,0 MB )
anzahl : @ moment 1561st mit 76,283,897 MB ( kein witz )

------------------

so frage 1 : mit welchem suchmuster prüfe ich effektiver ZEILEN ( es wird festgelegt

1 string datei1.txt (davon) 1.zeile (vergleichen mit) 1string datei2.txt (davon) 1.zeile

oder

1 string datei1.txt (davon) rnd zeile (vergleichen mit) 1string datei2.txt (davon) rnd zeile von datei1.txt

oder

?????????????? lasst euch aus

------------------

frage 2 :

das gleiche spiel nun auch bei dateien machen oder ne andere vergleichart

bitte beachten : es "KÖNNEN" andere zeilen vorhanden sein

------------------

frage 3 :

MySQL Version 3.22 hatte eine Begrenzung auf 4 Gbyte bei der Tabellengröße. Mit der Speicher-Engine MyISAM in MySQL Version 3.23 wurde die maximale Tabellengröße auf 65.536 Terabyte (2567 – 1 Byte) erhöht. Das bedeutet, dass die maximale effektive Tabellengröße von MySQL-Datenbanken normalerweise durch Beschränkungen des Betriebssystems hinsichtlich Dateigrößen festgelegt ist, nicht durch MySQL-interne Grenzen.

hmmmm :twisted noch ne idee

----------------

vielleicht kommt noch was nach

danke schonmal vorab