sitemap.xml

Eine XML-Sitemap, die die Seiten einer Website beschreibt. Sie werden verwendet, um Suchmaschinen Informationen über die Links auf einer Website zu geben, die sie möglicherweise nicht durch Crawlen entdecken können.
1
Antwort

Crawl-Links von sitemap.xml über den Befehl wget

Ich versuche, alle Links einer sitemap.xml zu crawlen, um eine Website erneut zu cachen. Aber die rekursive Option von wget funktioniert nicht, ich bekomme nur als Antwort:    Die Remote-Datei existiert, enthält jedoch keine Verknüpfung - sie...
27.06.2013, 03:37