Druckbare Version
Hallo, ich habe hier eine kleine Anfängerfrage.
Und zwar möchte ich via NMAP (falls es überhaupt möglich ist) alle http/s seiten scannen die es gibt oder halt nur http. Es ist im prinzip egal. Hauptsache es werden Seiten gescannt.
Sprich Format sollte so sein wenn das scannen fertig ist und ich es dann in der .txt Datei lesen kann:
http://seite.com
http://seite.com
http://seite.com
etc, etc.
Wenn es mit NMAP nicht geht, würde ich mich über andere vorschläge freuen.
MfG
Wie stellst du dir vor, dass das funktionieren soll? nmap weiss magischerweise was sich in den Zonefiles der Nameserver dieser Welt versteckt?
http://sourceforge.net/projects/crunch-wordlist/
Output in eine Textdatei, dann:
Code:nmap -iL ./output.txt
Was meinst du genau mit scannen? Willst du Websites crawlen (also einfach alle Links, die auf der Website stehen, sammeln), oder willst du tatsächlich alle Subdomains einer Domain in einer Liste stehen haben (so wie es meine beiden Vorredner andeuten)?
Ohai,
Ich denke er will nmap als einen Scanner verwenden. Ob dies möglich ist kA, ich habe noch nie was mit nmap zu tun gehabt. Sonst einfach einige scanner für Windows auf die Platte ziehen und diese via wine ausführen. Das ganze sollte theoretisch keine Probleme machen.
mfg
@\[T]/ Weiß ich nicht, deswegen die nachfrage. ;-)
@ Bonkers Die output.txt datei muss ich erst mit der Crunchwordlist scannen oder nicht? Weil bei der "Wordlist" ist keine .txt dabei.
@H4x0r007 Ich will die nicht crawlen, ich will einfach das er einfach Seiten scannen soll, die es so halt im Web gibt. Sprich youtube, google, twitter, etc, etc. Und das soll in einer .txt aufgelistet werden.
@Irhabi Kannst du die "Scanner" die du meinst, erläutern was die machen?
---------- Post added at 20:40 ---------- Previous post was at 20:23 ----------
Hier ein Beispiel: http://gyazo.com/d672e78620a7fd038f200da0392e6235
WTF -.- Das mit der Netzwerktechnik wird aber nochmal nach geschlagen ;)
nmap ist ein multifunktionaler netzwerk scanner der für portscans,service scans,routen verfolgung etc verwändet werden kann.
nmap weis aber nicht wie viele domains es gibt oder überhaupt welche domains es scanen soll ;)
was es hinsichichtlich der performanc beim scan langer listen angeht sind dns auflösungen eher unpraktisch wodurch
ich eher ip ranges / oder eine liste umgewandelt domain > ip ..... aber naja zum rest:
Ich gehe davon aus du möchtest am ende bsp diese scans metasploit fürs autopwn übergeben ;)
wie wäre es mit einem einfachen kleinen perlscript das dir in ner forschleife die domains als parameter an nmap übergibt und du
das scan result gefiltert in ne txt schreiben läst ... < auch ein ansatz ...
Naja ansonsten weis ich nicht wo dein problem liegt...
Deswegen habe ich ja nachgefragt, ob es via NMAP überhaupt möglich ist, einfach Seiten zu erkennen und diese dann in einer .txt Datei aufschreibt.
Trotzdem danke für deine Antwort. Eine aktuelle Wordlists mit Webseiten/IP's würden es auch tun, ansonsten weg von NMAP, und sagt mir mal
welche "Scanner" es gibt. Ich suche danach seit 3 Wochen doch ich gibs einfach auf.
Such dir eine gute Wordlist und schreibe dann ein Script, dass jeden Eintrag aus der Liste mit allen möglichen TLDs zusammensetzt und dann ein nslookup machet. Wenn du eine befriedigende Antwort bekommst, kannst du wenn dir beliebt noch checken ob Port 80/443 offen und erreichbar ist und dann in deine Output Datei schreiben
Es wäre mal intressant welchen Nutzen du dir davon Versprichst?
- Eine Möglichkeit habe ich ja angerissen mit metasploit bsp die gescanten services scannen nach vuln.
- Es gibt auch Website Analyse Tools die Batchaufgaben mit so listen können ;)
- NMAP kann sowas.
- .... http://sourceforge.net/projects/domainanalyzer/
- .... Google Suche 1.min Google
Naja ich gehe von aus wenn du uns genauer mal beschreibst was du vor hast ... können wir dir auch besser helfen ;)
Ok, ich glaube dir ist mittlerweile klar, dass man keine solche Anfrage an einen DNS-Server stellen kann: "Gib mir mal alle Domains, für die du zuständig bist". Sowas geht nur, wenn du in der Transfer-Zone bist, und das ist nur bei fehlkonfigurierten DNS-Servern der Fall.
Du wirst dich also anders behelfen müssen. Du könntest z.B. einige Website per Hand aussuchen und diese dann crawlen lassen. Von allen Links, die auf andere Websites verweisen, schneidest du den Pfad ab, fügst die Domain der Liste hinzu und crawlst weiter. Am Ende hättest du auch eine Liste von Domains. Ich weiß nur auch noch nicht, was du dir von einer Domain-Liste versprichst ;)
Ich denke "scannen" war der falsche Begriff, ich denke Seiten "Bruteforcen" passt eher besser.
Dann ist die Idee mit der Wordlist und der Skriptsprache deiner Wahl wohl der geschickteste Ansatz.
Auch NMAP bietet Scripts. Das hilft dir vl. https://nmap.org/nsedoc/scripts/http-headers.html
Output kannst du dann mittels Pipeline an Grep senden welches dir dann die IP und den Host (aus dem HTTP-Header) filtert und dann mittels > xyz.txt dieses direkt in ein File. Die die keine Host-Zeile mitschicken kannst du dann manuell über ein Reverse Lookup abfragen.
Natürlich kannst du auch nur Port 80 und 443 abscannen. Hier wird halt nicht geprüft ob ein HTTP-Service läuft und Domains werden auch keine gegrabt. Allerdings kannst du da wiederum mittels dem Parameter -sV nach den Services scannen. Mit -sL kannst du den Hostname (meistens gleich der Domain) abfragen.
Beispiel: nmap -sV -sL -p 80,443 10.0.0.1/24
Scannt 10.0.0.1 - 10.0.0.256
Oder 1000 zufällige IPs: nmap -sV -sL -p 80,443 -iR 1000
Für Scans des gesamten Internets ist allerdings zmap (nicht mit ZenMap zu verwechseln) besser.
Beispiel: zmap -p 80,443
Mittels -n 10 kannst du den Scan auf 10 IPs limitieren. Die Entwickler haben auch einen Bannergrab für HTTP-Server implementiert.
Hier ein Beispiel von deren Doku. -N definiert die Anzahl der Resultate und -B die verwendete Bandbreite im Bytes (also 10MB). Das Output wird in das File out geschrieben.
zmap -p 80 -N 1000 -B 10M -o - | ./banner-grab-tcp -p 80 -c 500 -d ./http-req > out