Debuggen von FIELD_DISCARDED_TYPE_CONVERSION_FAILED Warnungen, aber ich kann anscheinend nirgendwo einzelne Warnungen drucken. Das Deaktivieren der Aggregation über -w oder aggregate.warnings=false switch entfernt die Übersichtsnachrichten, aber es entfernt auch die eigentliche Warnung, sodass ich nicht sehen kann, welche Typumwandlung fehlgeschlagen ist.
Für diesen Lauf ist nichts im Protokoll des Schweins geschrieben, und es gibt keinen Ort, an dem ich die Protokolle mit den einzelnen Warnungen finden kann. Habe ich etwas offensichtlich übersehen oder es funktioniert einfach nicht?
Hadoop-Jobprotokolle werden lokal auf jedem Rechenknoten aufgezeichnet. Daher müssen Sie zuerst Ihren Hadoop-Cluster-Manager einrichten, um die Log-Dateien auf dem verteilten Dateisystem zu sammeln, damit Sie sie analysieren können. Wenn Sie Hadoop-on-Demand verwenden ( Ссылка ), können Sie dies tun, indem Sie angeben etwas wie:
%Vor%Siehe die HOD-Dokumentation unter Ссылка
Nachdem Sie die Protokolle für HDFS erstellt haben, können Sie eine einfache PIG-Abfrage ausführen, um die problematische Konvertierung zu finden. Etwas wie das Folgende sollte den Trick tun:
%Vor% Es ist schwierig herauszufinden, welche Daten oder Werte das Problem verursachen, aber Sie können zumindest herausfinden, welche Spalte dieses Problem verursacht. Sobald Sie die Spalte gefunden haben, können Sie Dynamic Invoker verwenden, was Ihnen bei der Typumwandlung helfen kann.
Verwendung von Dynamic Invoker:
DEFINE ConvertToDouble InvokeForDouble ('java.lang.Double.parseDouble', 'String');ConvertToDouble (Spaltenname);
Tags und Links hadoop apache-pig