Apache Nutch 2.1 verschiedene Batch-ID (null)

8

Ich crawle einige Websites mit Apache Nutch 2.1.

Beim Crawlen sehe ich auf vielen Seiten folgende Meldung:
Ex. Überspringen Ссылка ; unterschiedliche Batch-ID (null).

Was verursacht diesen Fehler?
Wie kann ich dieses Problem beheben, da die Seiten mit unterschiedlicher Batch-ID (null) nicht in der Datenbank gespeichert sind.

Die Seite, die ich gecrawlt habe, basiert auf drupal, aber ich habe auf vielen anderen nicht drupal Websites versucht.

    
Dragan Menoski 12.02.2013, 08:33
quelle

1 Antwort

1

Ich denke, die Nachricht ist kein Problem. Batch-ID nicht allen URLs zugewiesen. Also, wenn Batch_id gleich Null ist, überspringe URL. URL generieren, wenn Batch-ID für URL angegeben ist.

    
cguzel 18.04.2013 09:37
quelle

Tags und Links

Django: Verwenden von Annotate, Count und Distinct in einem Queryset sporadische Tomcat-Latenz