Die Methode reduceByKey wird nicht in IntelliJ gefunden

Question

Die Methode reduceByKey wird nicht in IntelliJ gefunden

8

Hier ist der Code, den ich für reduceByKey ausprobiere:

%Vor%

Gibt Compilerfehler: "Kann das Symbol reduceByKey nicht auflösen"

Wenn ich den Mauszeiger über die Implementierung von reduceByKey halte, gibt es drei mögliche Implementierungen, so scheint es gefunden zu werden?:

scala intellij-idea apache-spark

blue-sky 06.06.2014, 14:31

quelle

3 Antworten

Tags und Links scala intellij-idea apache-spark

Django: Verwenden von Annotate, Count und Distinct in einem Queryset Knitr-Vorlagen und untergeordnete Dokumente in einer Schleife

score 11 · Answer 1

Sie müssen den folgenden Import zu Ihrer Datei hinzufügen:

Importieren Sie org.apache.spark.SparkContext ._

Spark Dokumentation:

" In Scala sind diese Operationen automatisch auf RDDs verfügbar, die Tuple2-Objekte enthalten (das eingebaute Tupel in der Sprache, erstellt durch einfaches Schreiben (a, b)), , solange Sie org.apache.spark.SparkContext ._ in Ihrem Programm importieren, um Sparks implizite Konvertierungen zu ermöglichen. Die Schlüssel-Wert-Paar-Operationen sind in der PairRDDFunctions-Klasse verfügbar, die automatisch eine RDD von Tupeln umschließt, wenn Sie die Konvertierungen importieren. "

score 2 · Answer 2

Ich habe festgestellt, dass IJ manchmal Methoden nicht auflösen kann, die implizit über PairRDDFunctions Ссылка .

Zu den implizit importierten Methoden gehören die Methoden reduceByKey * und reduceByKeyAndWindow * . Ich habe zu diesem Zeitpunkt keine allgemeine Lösung - außer dass Sie ja die IntelliSense-Fehler ignorieren können

score 2 · Answer 3

2

Es scheint, als ob sich das dokumentierte Verhalten in Spark 1.4.x geändert hat. Damit IntelliJ die impliziten Konvertierungen erkennt, müssen Sie jetzt folgenden Import hinzufügen:

%Vor%

Splee 09.07.2015 17:21

quelle