Ich habe auf meinem lokalen Rechner einen Funke-Job geschrieben, der die Datei aus dem Google Cloud-Speicher mit google hadoop connector wie gs: //storage.googleapis.com/ liest, wie in Ссылка
Ich habe Dienstkonto mit Rechenmodul- und Speicherberechtigungen eingerichtet. Meine Funkenkonfiguration und Code ist
%Vor%Ich habe eine Umgebungsvariable namens GOOGLE_APPLICATION_CREDENTIALS eingerichtet, die auf die Schlüsseldatei verweist. Ich habe versucht, beide Schlüsseldateien zu verwenden, d. H. json & amp; P12 . Aber nicht auf die Datei zugreifen. Der Fehler, den ich bekomme, ist
%Vor%Ich habe meinen Job von Eclipse mit Java 8, funke 2.2.0 Abhängigkeiten und gcs-connector 1.6.1.hadoop2 ausgeführt. Ich muss nur über Dienstkonto und nicht über OAuth-Mechanismus verbinden.
Vielen Dank im Voraus
Versuchen Sie es lokal? Wenn ja, müssen Sie die Umgebungsvariable GOOGLE_APPLICATION_CREDENTIALS auf Ihre key.json setzen. oder setze es auf HadoopConfiguration , anstatt es auf SparkConf like:
Tags und Links java google-cloud-storage apache-spark service-accounts google-hadoop