Hier sind die vollständigen Umgebungsvariablen, die ich in meine .bashrc einfügen musste, um dies sowohl in Skripten als auch in Notebooks zu erreichen.
%Vor% Ich versuche, pyspark mit Anaconda zu importieren und zu verwenden.
Nachdem ich Spark installiert und die $SPARK_HOME Variable gesetzt habe, habe ich versucht:
Dies wird nicht funktionieren (natürlich), weil ich entdeckt habe, dass ich tel python suchen muss, um nach pyspark unter $SPARK_HOME/python/ zu suchen. Das Problem ist, dass ich dazu $PYTHONPATH setzen muss, während Anaconda diese Umgebungsvariable nicht benutzt.
Ich habe versucht, den Inhalt von $SPARK_HOME/python/ nach ANACONDA_HOME/lib/python2.7/site-packages/ zu kopieren, aber es wird nicht funktionieren.
Gibt es eine Lösung, um pyspark in Anaconda zu verwenden?
Sie können einfach die Umgebungsvariablen PYSPARK_DRIVER_PYTHON und PYSPARK_PYTHON so einstellen, dass entweder Root Anaconda Python oder eine bestimmte Anaconda-Umgebung verwendet wird. Zum Beispiel:
oder
%Vor% Wenn Sie $SPARK_HOME/bin/pyspark / $SPARK_HOME/bin/spark-submit verwenden, wird eine korrekte Umgebung ausgewählt. Denken Sie daran, dass PySpark auf allen Rechnern dieselbe Python-Version hat.
Bei einer Seitennotiz sollte PYTHONPATH funktionieren, auch wenn es nicht empfohlen wird.
Ich glaube nicht, dass Sie pyspark als Modul benötigen oder installieren können. Stattdessen habe ich mein $PYTHONPATH in meinem ~ / .bash_profile wie folgt erweitert:
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/build:$PYTHONPATH
Danach konnte ich import pyspark as ps . Hoffe, dass das auch für dich funktioniert.
Ich versuche, %code% mit Anaconda zu importieren und zu verwenden.
Nachdem ich Spark installiert und die %code% Variable gesetzt habe, habe ich versucht:
%Vor%Dies wird nicht funktionieren (natürlich), weil ich entdeckt habe, dass ich tel python suchen muss, um nach %code% unter %code% zu suchen. Das Problem ist, dass ich dazu %code% setzen muss, während Anaconda diese Umgebungsvariable nicht benutzt.
Ich habe versucht, den Inhalt von %code% nach %code% zu kopieren, aber es wird nicht funktionieren.
Gibt es eine Lösung, um pyspark in Anaconda zu verwenden?
Hier sind die vollständigen Umgebungsvariablen, die ich in meine .bashrc einfügen musste, um dies sowohl in Skripten als auch in Notebooks zu erreichen.
%Vor%Ich glaube nicht, dass Sie pyspark als Modul benötigen oder installieren können. Stattdessen habe ich mein %code% in meinem ~ / .bash_profile wie folgt erweitert:
%code%
Danach konnte ich %code% . Hoffe, dass das auch für dich funktioniert.
Sie können einfach die Umgebungsvariablen %code% und %code% so einstellen, dass entweder Root Anaconda Python oder eine bestimmte Anaconda-Umgebung verwendet wird. Zum Beispiel:
%Vor%oder
%Vor%Wenn Sie %code% / %code% verwenden, wird eine korrekte Umgebung ausgewählt. Denken Sie daran, dass PySpark auf allen Rechnern dieselbe Python-Version hat.
Bei einer Seitennotiz sollte %code% funktionieren, auch wenn es nicht empfohlen wird.
Vielleicht kann dies jemandem helfen. Gemäß der Anaconda-Dokumentation installieren Sie FindSpark wie folgt:
%Vor%Erst nachdem ich es installiert hatte, konnte ich FindSpark importieren. Keine Exportanweisungen erforderlich.
Vielleicht kann dies jemandem helfen. Gemäß der Anaconda-Dokumentation installieren Sie FindSpark wie folgt:
%Vor%Erst nachdem ich es installiert hatte, konnte ich FindSpark importieren. Keine Exportanweisungen erforderlich.
Tags und Links python apache-spark pyspark anaconda