Abend,
ich hoffe ihr nehmt es mir nicht übel, wollt einfach mal meinen Crawler loslassen und schauen wie viele URLs er imstande ist zu crawlen.

Vielleicht brauch es ja jemand für Statistikzwecken etc.

Hier mal das Ergebnis:
Code:
http://pastebin.com/tU9UR1CN