Ich sehe das in den Logs der Daten. Dies geschieht wahrscheinlich, weil ich 5 Millionen Dateien in hdfs kopiere:
%Vor%Ich benutze nur hadoop fs -put .... um die Dateien in hdfs zu kopieren. Kürzlich fing ich an, diese Art von Nachrichten auf der Client-Seite zu bekommen:
15/06/30 15:00:58 INFO hdfs.DFSClient: Die Datei /pdf-nxml/file1.nxml konnte nicht ausgefüllt werden. COPYING wird erneut versucht ... 15/06/30 15:01:05 INFO hdfs.DFSClient: Konnte nicht vervollständigen /pdf-nxml/2014-full/file2.nxml. KOPIEREN erneut versuchen ...
Ich bekomme eine msg wie oben gesagt dreimal pro Minute. Aber die Ausnahmen sind häufiger auf den Daten.
Wie kann ich das beheben?
----- BEARBEITEN ---- Ich musste hadoop neustarten und jetzt startet es nicht richtig mit diesen in den Protokolldateien jedes Datanodes:
%Vor%Die Antwort auf diese Frage wurde bereits in den Kommentaren gegeben:
Mein Hadoop 2.7.0 Cluster hat nicht gestartet. Ich musste neu kompilieren Protobuf-2.5.0, Ändern com.google.protobuf.CodedInputStream # DEFAULT_SIZE_LIMIT bis 64 & lt; & lt; 24. Dann habe ich die Datei hdfs-site.xml so geändert, dass sie enthalten ist ipc.maximum.data.length 134217728 und jetzt scheint es wieder da zu sein.