Verwendung von S3 (Frankfurt) mit Spark

9

Jeder benutzt s3 auf Frankfurt mit hadoop / spark 1.6.0?

Ich versuche das Ergebnis eines Jobs in s3 zu speichern, meine Abhängigkeiten werden wie folgt deklariert:

%Vor%

Ich habe folgende Konfiguration vorgenommen:

%Vor%

Wenn ich saveAsTextFile auf meiner RDD anrufe, startet es OK und speichert alles auf S3. Nach einiger Zeit jedoch, wenn es von _temporary auf das endgültige Ausgabeergebnis überträgt, ergibt sich der Fehler:

%Vor%

Wenn ich hadoop-client vom Spark-Paket verwende, wird die Übertragung nicht einmal gestartet. Der Fehler tritt zufällig auf, manchmal funktioniert es und manchmal nicht.

    
flaviotruzzi 15.04.2016, 12:23
quelle

2 Antworten

3

Bitte versuchen Sie, die folgenden Werte festzulegen:

%Vor%

Bitte legen Sie die Region fest, in der sich der Bucket befindet, in meinem Fall war es: eu-central-1

und hinzufügen Abhängigkeit in Gradle oder auf andere Weise:

%Vor%

hoffe, es wird helfen.

    
Dany 07.09.2016 18:19
quelle
2

Wenn Sie pyspark benutzen, funktionierte folgendes für mich

%Vor%     
asmaier 07.09.2017 12:06
quelle

Tags und Links

Django: Verwenden von Annotate, Count und Distinct in einem Queryset Gibt es eine vollständige Liste von eingebauten Funktionen, die nicht mit Schlüsselwortargument aufgerufen werden können?