hdfs - ls: Bei lokaler Ausnahme fehlgeschlagen: com.google.protobuf.InvalidProtocolBufferException:

HDFS läuft nicht bei 50075. Um Ihren hdfs-Port zu überprüfen, verwenden Sie den folgenden Befehl in linux

Sie erhalten die Ausgabe so etwas wie

Und korrigieren Sie Ihre URL entsprechend

Überprüfen Sie in Ihrem cloudera-Manager den Knoten Name für das Konfigurationselement "NameNode Service RPC Port" ODER "dfs.namenode.servicerpc-Adresse". Fügen Sie die gleiche Portnummer von dort zur URL hinzu. Und es sollte gut funktionieren.

Läuft Ihre NN am Port 50075 ? Das müssen Sie eigentlich nicht tun, wenn Sie nur alle Verzeichnisse auflisten wollen. Verwenden Sie einfach hadoop fs -ls / . Dadurch werden alle Ihre Verzeichnisse in Ihrem Stammverzeichnis aufgelistet.

Dieser Fehler tritt auf wegen:

1. Es ist nicht möglich, mit namenode
in Kontakt zu treten
2. Nameode läuft möglicherweise nicht (Sie können dies überprüfen, indem Sie den Befehl jps ausführen.)
3. Töte, was auch immer in diesem bestimmten Port läuft

Überprüfe, was in einem bestimmten Port läuft, nach netstat -tulpn | grep 8080 und kill -9 <PID>

4. Starten Sie den namenode
neu

In /usr/local/hadoop/etc/hadoop/core-site.xml

Anstelle von localhost verwenden Sie 0.0.0.0 , d. h.

Ändern Sie <value>hdfs://localhost:50075</value> in

Das hat das Problem für mich gelöst

Können Sie Ihren Hostnamen überprüfen ?. Derselbe Name (ubuntu) sollte in Ihrer Datei / etc / hostname und / etc / hosts vorhanden sein.

Stellen Sie sicher, dass Ihr tcp-Port von NN auf 50075 steht, was in hdfs-site.xml

mein Problem ist, dass ich HTTP-Adresse Port verwenden, um mit NN zu verbinden, dies die gleiche Ausnahme wie Sie verursachen.

Der http-Port wird auch in hdfs-site.xml konfiguriert: