Könnte mir jemand sagen, wie man fehlende Repliken repariert?
================================================== =============================
Gesamtgröße: 3447348383 B
Gesamtdurchlauf: 120
Gesamtanzahl der Dateien: 98
Gesamtblöcke (validiert): 133 (durchschnittliche Blockgröße 25919912 B)
Minimal replizierte Blöcke: 133 (100,0%)
Zu viele replizierte Blöcke: 0 (0.0%)
Unterreplizierte Blöcke: 21 (15.789474%)
Mis-replizierte Blöcke: 0 (0.0%)
Standardreplikationsfaktor: 3
Durchschnittliche Blockreplikation: 2.3834586
Korrupte Blöcke: 0
Fehlende Replikate: 147 (46.37224%)
Anzahl der Datenknoten: 3
Anzahl der Racks: 1
================================================== =============================
Gemäß unbestimmter Anleitung,
Korrupte oder fehlende Blöcke sind der größte Grund zur Besorgnis, da dies Daten bedeutet hat verloren. Standardmäßig hinterlässt fsck Dateien mit beschädigten oder fehlenden Blöcken, aber Sie können es ihm mitteilen führen Sie eine der folgenden Aktionen für sie aus:
• Verschieben Sie die betroffenen Dateien mit der Option -move in das Verzeichnis / lost + found in HDFS. Dateien werden in Ketten von zusammenhängenden Blöcken aufgeteilt, um Ihre Rettungsbemühungen zu unterstützen kann versuchen.
• Löschen Sie die betroffenen Dateien mit der Option -delete. Dateien können nicht wiederhergestellt werden gelöscht werden.
Hier ist meine Frage, wie man betroffene Dateien findet? Ich habe bereits mit Hive zusammengearbeitet, um die benötigten Ausgaben ohne Probleme zu erhalten. beeinflusst die Leistung / Geschwindigkeit der Abfrageverarbeitung.
Grüße,
Raj
Fehlende Replikate sollten im Laufe der Zeit selbstheilend sein. Wenn Sie sie jedoch nach lost + found verschieben möchten, können Sie Folgendes verwenden:
%Vor%Oder löschen Sie sie mit:
%Vor%Wenn Sie nur die Dateien mit nicht replizierten Blöcken identifizieren möchten, verwenden Sie:
%Vor%Das gibt Ihnen viele Details, einschließlich der Liste der erwarteten / tatsächlichen Blockreplikationszählungen.