Ergebnis 1 bis 7 von 7
  1. #1
    Fortgeschrittener
    Registriert seit
    18.12.2010
    Beiträge
    33

    Standard Gelöschte Bilder eines namhaften Imageboards wiederherstellen

    Hallo zusammen,
    ich habe einen Crawler für ein namhaftes deutsches Imageboard (pr Zero gramm) geschrieben, welcher alle Bilder speichert, die gepostet werden. Hauptsächlich habe ich das getan um gelöschte Bilder und Kommentare wiederherstellen zu können (Stichwort oc ), was an sich auch gut funktioniert. Der Crawler crawled alle 10 Sekunden, dadurch kriege ich jedes Bild, da die Mods eine Weile brauchen, bis sie ein Bild gelöscht haben.

    Problem:
    Da die Bilder sofort vom Server gelöscht werden muss ich alle Daten bei mir lokal im Speicher halten und dumpe sie auf die Festplatte, sobald das Bild auf der originalen Seite gelöscht wurde. Früher blieb der Bildlink noch eine Weile erhalten, ich konnte das Bild also erst runterladen wenn der Eintrag gelöscht wurde. Nachdem mein Crawler aber eine Weile lief haben sie das geändert lol. Wie man sich denken kann braucht das je nach Bilderanzahl eine Menge Speicherplatz und ist nicht gerade elegant.

    Vor einer Weile hat ein Mod folgendes gepostet:

    Das ist die Backendansicht, bei dem angezeigt wird, was gelöscht wurde und wenn man genau hinschaut sieht man, dass dahinter ein Link zu dem Bild im Cache ist. Soweit ich das sehen konnte wird mit nginx und Cloudflare gecached. ich konnte 5 verschiedene IPs identifizieren, von denen der Content kommt.
    Die Frage ist nun, wie komme ich an das Bild im Cache heran? Kennt sich jemand mit Cachingtechniken oder Cloudflare aus und kann mir ein paar Tipps geben?

    Danke euch schonmal!
    Wenn ich Erfolg haben sollte kann ich das Script (Gibt eine Java und eine Python3 Version) gerne ins GIT hochladen

  2. #2
    Fortgeschrittener Avatar von Lindor
    Registriert seit
    04.11.2011
    Beiträge
    40

    Standard AW: Gelöschte Bilder eines namhaften Imageboards wiederherstellen

    Die Frage ist nun, wie komme ich an das Bild im Cache heran? Kennt sich jemand mit Cachingtechniken oder Cloudflare aus und kann mir ein paar Tipps geben?
    Hinter diesem "cache" wird sich einfach ein Link verstecken auf dem das Bild zwischengespeichert ist. Dieser Link kann aber zu einem beliebigen Server gehören und der Pfad ist potentiell auch beliebig (komplett unbekannte Domain mit zufälligem Pfad/Dateinamen). Rein technisch gibt es da vermutlich keinen Weg die Links zu finden. Da bleibt nur mehr oder weniger systematisches Raten übrig. Es wäre auch denkbar, dass der Cache Link noch aus der Zeit stammt, als Bilder nicht direkt gelöscht wurden und er zwischenzeitlich nicht mehr funktioniert.

    Hast du mal ein Beispiel für ein gelöschtes Bild?

  3. #3
    Fortgeschrittener
    Registriert seit
    18.12.2010
    Beiträge
    33

    Standard AW: Gelöschte Bilder eines namhaften Imageboards wiederherstellen

    Zitat Zitat von Lindor Beitrag anzeigen
    Hast du mal ein Beispiel für ein gelöschtes Bild?
    http://(url)/2017/08/12/b1bb3065ab838e7b.jpg

    Ich habe auch schon einiges rumprobiert, es gibt keine auffälligen HTTP Header oder sonstiges :/ Das Bild ist sofort weg, sobald es gelöscht wird. Ich vermute der Cacheproxy gibt einfach ein 404 zurück und das Backend kann noch weiterhin auf die Originaldatei zugreifen bis die dann auch gelöscht wird.

    Wenn du ein Bild haben möchtest, bevor es gelöscht wird, warte einfach ne Weile auf new und rufe die Seite dann in nem neuen Tab auf. An Sprüngen in der ID die größer als +1 sind erkennst du dann gelöschte Bilder.

    Die Seitenbetreiber würden auch davon profitieren, da ich nicht mehr alles downloaden muss

  4. #4
    Sobig Wurm Avatar von Leange
    Registriert seit
    06.09.2008
    Beiträge
    220

    Standard AW: Gelöschte Bilder eines namhaften Imageboards wiederherstellen

    Hi

    Könntest auch nen externen webspace oder so als cache nutzen, nicht optimal aber dein speicherproblem wäre gelöst.

    Leange

    Freiheit stirbt mit Sicherheit

  5. #5
    Fortgeschrittener
    Registriert seit
    18.12.2010
    Beiträge
    33

    Standard AW: Gelöschte Bilder eines namhaften Imageboards wiederherstellen

    Naja nicht direkt, die Belastung für die Seite ist trotzdem noch da und der Code wäre etwas weniger aufwändig. Der Speicher ist nicht das Problem. Ich habe ja nicht vor ein Komplettbackup anzulegen. Meines Wissens nach sind das ein paar TB im zweistelligen Bereich.

  6. #6
    Anfänger
    Registriert seit
    08.08.2017
    Beiträge
    10

    Standard AW: Gelöschte Bilder eines namhaften Imageboards wiederherstellen

    Amazon Cloud holen, da die Fotos draufladen, mittels API von einem unmetered VPS oder Root holen und mit Cloudflare cachen. Du hättest zwar noch den Erst-Traffic (bis es gecacht ist), aber würdest dir den Speicherplatz sparen.
    Verstößt allerdings gegen die AGB und wenn du erwischt wirst, verlierst du deine Cloud. Cloud hat übrigens unlimitierten Speicherplatz.

  7. #7
    Fortgeschrittener
    Registriert seit
    18.12.2010
    Beiträge
    33

    Standard AW: Gelöschte Bilder eines namhaften Imageboards wiederherstellen

    Zitat Zitat von Benu Beitrag anzeigen
    Amazon Cloud holen, da die Fotos draufladen, mittels API von einem unmetered VPS oder Root holen und mit Cloudflare cachen.
    Nice, das kannte ich noch nicht. Das Problem ist, dass da nicht nur Bilder hochgeladen werden sondern auch Videos
    naja notfalls könnte man die Videos mit Bildendung versehen, die Frage ist nur ob die das checken.

    Leider habe ich noch nicht den optimalen Weg gefunden, aber ich fürchte den wird es nicht geben Danke für die Ideen

Ähnliche Themen

  1. Bilder wiederherstellen?
    Von Patorsky im Forum Mobile Devices
    Antworten: 0
    Letzter Beitrag: 14.05.2009, 10:18
  2. partition gelöscht daten wiederherstellen ?
    Von B1044ZZ4RD im Forum Hardware
    Antworten: 2
    Letzter Beitrag: 01.03.2009, 15:02
  3. [S] Gelöschte Daten wieder herstellen
    Von Dauerbauer im Forum Anwendungssoftware
    Antworten: 8
    Letzter Beitrag: 24.11.2008, 14:14
  4. Gelöschte Dateien wiederherstellen
    Von GER I AnGerStyLe I im Forum Sicherheit
    Antworten: 3
    Letzter Beitrag: 19.10.2008, 01:46
  5. Gelöschte Daten wiederherstellen !!!
    Von bodylife im Forum Sicherheit
    Antworten: 3
    Letzter Beitrag: 06.03.2008, 00:04

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •