Ich schrieb folgendes:
%Vor%und es zeigt einen Fehler an:
%Vor%Irgendwelche Hilfe?
In meinem Fall habe ich Spark auf lokalen Windows-System installiert und ich beobachtete den gleichen Fehler, aber es war wegen unten Problem
Problem: verursacht durch: java.lang.RuntimeException: Das root scratch dir: / tmp / hive in HDFS sollte beschreibbar sein .
Dies war wegen Erlaubnissproblem. Ich löste es, indem ich die Berechtigungen unter Verwendung des Befehls unten änderte. Obwohl Protokoll sagt "auf hdfs" ist dies auf Windows-System
E: \ winutils \ bin \ winutils.exe chmod 777 E: \ tmp \ hive
Dies passiert, wenn Ihr Klassenpfad nicht korrekt ist. Dies ist ein offenes Problem in Spark im Moment.
%Vor%Sie müssen möglicherweise Ihren Klassenpfad von außerhalb des Replikats korrigieren.
Sie erhalten diesen Fehler, weil sc nicht definiert ist. Ich würde versuchen:
Eine andere Sache, die mir normalerweise passiert, ist, dass ich kein Kerberos-Ticket im Cluster bekomme, weil ich es auch vergessen habe.
Was das von Solnanki erwähnte "offene Problem in Spark" betrifft, bin ich mir ziemlich sicher, dass dies nicht mehr der Fall ist.
Überprüfen Sie zuerst die Protokolldatei nach dem Ausführen von Spark-Shell ob SparkContext als sc initialisiert wird wenn SparkContext nicht richtig initialisiert ist
Sie müssen die IP-Adresse in der Funkenumgebung einstellen.
Öffnen Sie die env-Datei in conf / spark.env.sh und fügen Sie die folgende Zeile hinzu
export SPARK_LOCAL_IP="127.0.0.1"
Ich habe diesen Fehler beim Testen von Spark auf Cloudera Quickstart VM gefunden. Hat sich als Problem mit der hdfs-Dateiberechtigung in /user/spark herausgestellt.
Ich konnte nicht zum Benutzer "spark" wechseln, ich habe einen Benutzer nicht verfügbar Fehler bekommen. Ändern der Dateiberechtigungen mit dem folgenden Befehl löste es für mich.
%Vor%Ich hatte das gleiche Problem. In meinem Fall wurde JAVA_HOME nicht richtig eingestellt, was dieses Problem verursacht. Überraschenderweise würde SPARK starten, aber der sc-Kontext hatte Probleme beim Erstellen einer Instanz. Als ich das JAVA_HOME reparierte, um auf das korrekte Java-Verzeichnis zu zeigen, wurde dieses Problem aufgelöst. Ich musste die Sitzung schließen und eine neue öffnen, um sicherzustellen, dass der Pfad aktualisiert und die neue Sitzung aktiviert wurde.
Ich hoffe, das hilft.
Wie in dieser Thread , eine Lösung könnte sein, die Überprüfung von Berechtigungen zu deaktivieren.
%Vor%Gehen Sie in cloudera manager zu hdfs configuration advanced und fügen Sie den folgenden Code in "HDFS Service Advanced Configuration Snippet (Sicherheitsventil) für hdfs-site.xml":
ein
Danach muss die HDFS-Komponente neu gestartet werden.
Es hat für mich funktioniert. Es ist jedoch möglicherweise nicht für eine Produktionsumgebung geeignet.
Tags und Links scala distributed-computing apache-spark