Gigantische Proxylisten

[Mr.Tr33]

Moin,

ich versuche momentan ein Projekt auf die Beine zu stelle und benötige hierführ ~10k HTTPS Proxys.

Klar kann ich einfach alle ~6 Stunden das Internet durchsuchen und die dann checken, jedoch finde ich dann sicherlich nicht ~10k die recht schnell sind und dazu auch noch recht anonym.

Kennt jemand von euch wo man an solche Mengen an Proxys kommt? Bezahlen würde ich dann mit PayPal wollen (ist kein illegales Projekt).
Mir ist es egal ob ich z.B. 1 Monat die selbe IP bei jedem Proxy habe oder ob die sich alle 10 Minuten ändern. Die sollen halt schnell sein :D

[whoami]

Wenn man etwas Ahnung von Skriptsprachen hat, kann man sich entsprechende Crawler basteln welche in bestimmten Intervallen URLs durchsuchen und die Ergebnisse abspeichern.
Eine Überprüfung auf Funktionalität der Proxys kann man auch mit einbauen.

[4ctid]

HTTPS Proxys haben im Prinzip die selbe Funktion wie SOCKS5 Proxys (bis auf Einschränkungen wie Portbegrenzung). Also wäre SOCKS5 bei deinem Projekt sicherlich auch angebracht? Ich kannte mal einen Provider der diese in Massen recht günstig anbot (bin mir nicht sicher ob ich den wieder finde).

[sn0w]

Bezahlen würde ich dann mit PayPal wollen
Das sieht schonmal schlecht aus. Nicht böse gemeint, aber meistens sind es BTC oder andere anonyme/pseudoanonyme Zahlungsmittel.

(ist kein illegales Projekt).
Fraglich wofür dann so viele gebraucht werden.

Ich denke trotzdem, dass du mit einem crawler und checker schneller und günstiger an Proxies/Socks5 rankommst.

[Beckz]

Hast du denn eine zuverlässige Quelle, bzw. eine Seite für solch große Mengen?

[Mr.Tr33]

Wenn man etwas Ahnung von Skriptsprachen hat, kann man sich entsprechende Crawler basteln welche in bestimmten Intervallen URLs durchsuchen und die Ergebnisse abspeichern.
Eine Überprüfung auf Funktionalität der Proxys kann man auch mit einbauen.
Jo ist mir bewust. Jedoch brauche ich, um solche Mengen zu überprüfen, ordentlich viel Zeit. Und für mein Projekt brauche ich 24/7 min. ~3k Proxys.


Also wäre SOCKS5 bei deinem Projekt sicherlich auch angebracht? Ich kannte mal einen Provider der diese in Massen recht günstig anbot (bin mir nicht sicher ob ich den wieder finde).
Ich benutze für mein Projekt PHP mit cUrl. Habe cUrl noch nie mit SOCKS5 benutzt bzw. nie Erfolg gehabt. Daher habe ich seit dem immer nur HTTPS benutzt.


Das sieht schonmal schlecht aus. Nicht böse gemeint, aber meistens sind es BTC oder andere anonyme/pseudoanonyme Zahlungsmittel.
Daran dachte ich auch schon. Bis jetzt aber noch nie gute Erfahrung mit BTC gemacht und bin grundsätzlich nie über diese "graue Linie" geträten und bin somit recht gut mit PayPal ausgekommen.


Hast du denn eine zuverlässige Quelle, bzw. eine Seite für solch große Mengen?
Ich vermute die Frage war jetzt nicht an mich gerichtet, da es genau meine Frage war >.>