Wir führen einen spark-submit-Befehl für ein Python-Skript aus, das Spark zur Parallelisierung der Objekterkennung in Python mit Caffe verwendet. Das Skript selbst läuft einwandfrei, wenn es in einem Python-only-Skript ausgeführt wird, aber es gibt einen Importfehler zurück, wenn es mit Spark-Code verwendet wird. Ich weiß, dass der Spark-Code nicht das Problem ist, weil es auf meinem Heimcomputer einwandfrei funktioniert, aber auf AWS funktioniert es nicht gut. Ich bin mir nicht sicher, ob das irgendwie mit den Umgebungsvariablen zu tun hat, es ist so, als würde es sie nicht entdecken.
Diese Umgebungsvariablen sind festgelegt:
%Vor%Fehler:
%Vor%Weiß jemand, warum das ein Problem wäre?
Dieses Paket von Yahoo verwaltet, was wir zu tun versuchen, indem wir Caffe als Jar-Abhängigkeit versenden und dann in Python wieder verwenden. Aber ich habe keine Ressourcen gefunden, wie man es erstellt und es selbst importiert.
Sie haben wahrscheinlich die caffe python-Wrapper in Ihrer AWS-Umgebung nicht kompiliert. Aus Gründen, die mir völlig entgehen (und einigen anderen, Ссылка ) ist pycaffe nicht als Pypi-Paket und du verfügbar muss es selbst kompilieren. Sie sollten die Kompilierungs- / make-Anweisungen hier befolgen oder sie mit ebextensions automatisieren, wenn Sie sich in einer AWS EB-Umgebung befinden: Ссылка
Tags und Links python apache-spark pyspark caffe pycaffe