HTTP Proxy HTTPS Seiten

[Mr.Tr33]

Hallo,

mir ist gerade aufgefallen, dass ich mit HTTP Proxies gar nicht auf HTTPS Seiten gehen kann.
Gibt es dafür ein Weg drumrum? Oder muss ich dafür auf HTTPS Proxies zurück greifen?

MfG
Mr.Tr33

[4ctid]

Normale HTTP Proxies nehmen Requests vom Client entgegen (verarbeiten sie) und senden dann erst die Anfrage an den eigentlichen Server. Das heißt es findet ein Zwischenschritt statt. Für HTTPS ist jedoch eine Ende-zu-Ende-Verschlüsselung erforderlich und damit ein reiner Datenstream zwischen Client und Zielhost. Diese Verbindung wird über die Methode 'CONNECT' aufgebaut.
Ein HTTPS Proxy hat kaum einen Einfluss auf den Traffic, der weitergeleitet wird (außer vielleicht eine Drosselung). Darum sind HTTPS Proxys auch seltener vorzufinden, der Provider kann ja keine Daten abgreifen.

Dein Browser kann keineswegs eine direkte HTTPS Verbindung über einen normalen HTTP Proxy aufbauen. (Mit normal meine ich einen Proxy der die CONNECT Methode blockiert / nicht unterstützt)

Es mag vielleicht Tricks geben HTTPS zu strippen etc.

[Mr.Tr33]

Hmm ok, ich habe mir gestern ein kleinen Proxy Crawler gebaut der einfach Google durchforstet ... leider sind 90% von den ganzen Proxies immer nur HTTP Ich habe jetzt hier kein Socks4/5 Proxy da, aber ginge es denn damit? Oder brauche ich explizit ein HTTPS Proxie um auf HTTPS Seiten zu surfen?

[4ctid]

Solange dich der Proxy mit Zielport 443 ungehindert Daten austauschen lässt kannst du HTTPS Seiten ansurfen. Sollte mit einem socks4/5 kein Problem sein.

[Mr.Tr33]

Also kommt das jetzt an den Betreiber des Proxies an ob er den Port freigegeben hat oder nicht? Oder habe ich das falsch verstanden?

Und gleich noch eine Nebenfrage zu dem Thema
Ich habe ja jetzt meinen Crawler laufen, der findet auch ständig Proxies. Nebenbei läuft noch ein Checker der die Proxies überprüft. Komischerweise funktioniert ein Proxy egal ob HTTP oder Socks4/5 in dem Moment wo der Checker den Proxy überprüft und wenn ich den Proxy dann manuell, mit dem selben Script überprüfen lasse, dann funktioniert er nicht mehr. Zwischen den beiden Überprüfungen liegt eventuell 5-10 Minuten

[4ctid]

Also kommt das jetzt an den Betreiber des Proxies an ob er den Port freigegeben hat oder nicht? Oder habe ich das falsch verstanden?

Ein socks4/5 erlaubt beliebige TCP Verbindungen, sofern der Betreiber diese nicht gesperrt hat. Also kommt es auf den Betreiber an, ja

Und gleich noch eine Nebenfrage zu dem Thema
Ich habe ja jetzt meinen Crawler laufen, der findet auch ständig Proxies. Nebenbei läuft noch ein Checker der die Proxies überprüft. Komischerweise funktioniert ein Proxy egal ob HTTP oder Socks4/5 in dem Moment wo der Checker den Proxy überprüft und wenn ich den Proxy dann manuell, mit dem selben Script überprüfen lasse, dann funktioniert er nicht mehr. Zwischen den beiden Überprüfungen liegt eventuell 5-10 Minuten

Ich hoffe einfach mal, dass dein Proxychecker seine Funktion nicht richtig erfüllt.

[Mr.Tr33]

Ich hoffe einfach mal, dass dein Proxychecker seine Funktion nicht richtig erfüllt.

Könnte das an meinem Timeout liegen der auf 3 Sekunden gesetzt ist?

Wenn wir eh schon beim Thema sind, du weißt nicht zufällig wieso cUrl in PHP trotz Socks5 Verbindung zu einem HTTP Proxy verbinden kann? Dadurch denkt man dann ja, dass es ein Socks5 Proxy ist ... aber wenn man es selber testet, dann ist es gar keiner

Zum Testen: 117.178.125.75:8123 <= ist tod ...

[4ctid]

[...] cUrl in PHP trotz Socks5 Verbindung zu einem HTTP Proxy verbinden kann? Dadurch denkt man dann ja, dass es ein Socks5 Proxy ist ... aber wenn man es selber testet, dann ist es gar keiner [...]

Wie genau meinst du das?
Du kannst die genannte Adresse mit PHP+cURL als socks5 verwenden?

[Mr.Tr33]

Ja man kann bei cURL ja Proxies setzen bzw. eine Verbindung über einen Proxy aufbauen. Da kann man dann zwischen HTTP/S (default), SOCKS4 und SOCKS5 entscheiden. Wenn man SOCKS5 festlegt und ein gewissen Proxie benutzt, dann funktioniert die Verbindung, jedoch funktiont es auch mit HTTP/S. Wenn man das dann manuell probiert über z.B. FoxyProxy (für Firefox), dann funktioniert es nur via HTTP/S.

[4ctid]

Eventuell schaltet cUrl automatisch um? Zu erkennen um welche Art von Proxy es sich handelt ist ja kein Problem.
Du könntest diesen Prozess einfach mal mit Wireshark sniffen.