komplette Internetseite crawlen (z.b. Warezseite)

[affenjunge123]

Hey zusammen, kann mir jemand erklären wie/ob es möglich ist ein komplette Internetseite offfline verfügbar zu machen? zum Beispiel eine warezseite, damit, falls sie mal down ist, man die ganzen Links noch zur verfügung hat.

Oder schützen sich die Webseitenbetreiber davor, wenn ja wie ist es zu umgehen.

Habe mal son nen Webspider(Xaldon webspider[windows]) ausprobiert, hat aber keine brauchbaren ergebnisse ausgespuckt, hat mir nur die Index.php geliefert.

N tut wär nice oder n Tip welches Progarmm das gut beherrscht (win, linux).

danke und peaCe

[Death~]

Du kannst dir den Quelltext von jeder Datei, auf die du Zugriff hast, speichern. Dynamische Seiten werden dann wahrscheinlich nicht mehr funktionieren. Das heißt du kannst dir lediglich das Ganze visuell darstellen lassen. Wenn diese dann noch mit einer Datenbank kommunizieren und du diese nicht hast, wird das auch problematisch.

[D4xX6]

Ich weis nicht ob dir das was bringt,
ich nutze oft dieses Tool hier:


HTTrack Website Copier 3.44-4

http://www.heise.de/software/downloa...te_copier/2320

[affenjunge123]

jo danke ich schau mir mal den HTTrack an, der läuft grad, mal schaun ob der gute ergebnisse liefert.

bis dann

[Hu5eL]

man wget

[Surflam]

Beim Crawlen einer Homepage besteht immer das Problem das er (der Crawler) sozusagen nur die Daten bekommt, auf die auch selbst verlinkt werden. Wenn z.b ein Ordner namens /admin/ exestiert, er aber in keiner html datei darauf verlinkt z.b, dann findet er das nicht. Zusätzlich kann er keinen Php Code crawlen weil der Code Serverseitig Ausgeführt wird, es klappen also nur interpreter sprachen die lokal im browser ausgeführt werden zum crawlen. Passwortgeschützt Seiten kannst du ohne Password/Zugang z.b dann auch garnicht Crawln.

mfg

[Yakuza112]

Scrapbook Plus, allerdings kann es auch sein das du von der Firewall geblockt wirst ..

++ Frage, kennt wer nen crawler für webseiten wo ich mich einloggen muss ?

[Hu5eL]

Surflam das was du sagst ist richtig, aber irgendwie trotzdem eher .... selbstverständlich

[Freak1936]

@Yakuza, ich mein bei HTTrack hast auch ein Möglichkeit deine Logindaten einzugeben, also solltest dich damit auf Webseiten auch authen können.

[Surflam]

@Hu5el normalerweise sollte das selbstverständlich sein ja, aber es gibt genug die immer wieder mit der Frage "kann ich damit Php dateien von andern klauen?" kommen..wollte dem vorbeugen :p