apache-spark, Seitenzahl 2

7

Antworten

Hadoop 2.6 Herstellen einer Verbindung mit ResourceManager unter /0.0.0.0:8032

Ich versuche, das folgende Spark-Beispiel unter Hadoop 2.6 auszuführen, aber ich erhalte den folgenden Fehler: INFO RMProxy: Verbindung zum ResourceManager unter /0.0.0.0:8032 und der Client tritt in eine Schleife ein, um eine Verbindung her...

06.12.2015, 13:32

1

Antwort

Lasse YARN Appcache vor dem erneuten Versuch bereinigen

Die Situation ist die folgende: Eine YARN-Anwendung wird gestartet. Es wird geplant. Es schreibt viel in sein Appcache-Verzeichnis. Die Anwendung schlägt fehl. YARN startet es neu. Es wird ausstehend, da nicht genügend Speicherplatz vo...

18.08.2015, 21:18

1

Antwort

Wie sendet Spark Schließungen an Arbeiter?

Wenn ich eine RDD-Transformation schreibe, z. %Vor% Ich verstehe, dass die Schließung ( x => x * 3 ), die einfach eine Function1 ist, serialisierbar sein muss und Ich glaube, ich habe irgendwo gelesen EDIT: es ist genau dort in der D...

14.08.2015, 17:22

1

Antwort

"aufgelöste (s) Attribut (e) fehlen" beim Ausführen von Join auf pySpark

Ich habe die folgenden zwei pySpark Datenrahmen: %Vor% Jetzt möchte ich sie in gemeinsamen Spalten verbinden, also versuche ich Folgendes: %Vor% Und ich bekomme folgende Fehlermeldung: %Vor% Einige der Spalten, die bei diesem Fehler...

15.10.2016, 17:47

1

Antwort

Uima Ruta Nicht genügend Speicher im Funkenkontext

Ich führe eine UIMA Anwendung auf Apache Funke. Es gibt Millionen von Seiten, die in Batches eingehen, die von UIMA RUTA zur Berechnung verarbeitet werden. Aber einige Zeit habe ich out of memory exception.It wirft Ausnahme, da es erfolgreic...

04.06.2017, 05:30

1

Antwort

Spark: Was ist die zeitliche Komplexität des in GraphX verwendeten Algorithmus für verbundene Komponenten?

GraphX kommt mit einem Algorithmus zum Finden von verbundenen Komponenten von a Grafik. Ich habe keine Aussage über die Komplexität ihrer Implementierung gefunden. Im Allgemeinen kann das Auffinden von verbundenen Komponenten in linear...

28.04.2016, 20:59

2

Antworten

Benutzerdefinierte Quellen- / Senke-Konfigurationen werden nicht erkannt

Ich habe meine benutzerdefinierte Metrik Source / Sink für meine Spark-Streaming-App geschrieben, und ich versuche, sie aus metrics.properties zu initialisieren - aber das funktioniert nicht von Executoren. Ich habe keine Kontrolle über die Masc...

06.09.2016, 03:10

1

Antwort

LogisticRegressionModel Vorhersage manuell

Ich habe versucht, eine Markierung für jede Zeile in DataFrame vorherzusagen , aber ohne LinearRegressionModel % transform -Methode, aufgrund von Hintergründen, stattdessen habe ich versucht, es manuell zu berechnen Mit der klassischen F...

04.05.2016, 19:11

1

Antwort

Schreibe Datenrahmen nach Phoenix

Ich versuche, Dataframe in Phoenix-Tabelle zu schreiben, aber ich bekomme eine Ausnahme. Hier ist mein Code: %Vor% und die Ausnahme ist: %Vor% Ich habe phoenix-spark und phoenix-core jars zu meiner pom.xml hinzugefügt

20.03.2017, 06:37

1

Antwort

Ein Kuchenmuster mit impliziter Funktionalität implementieren

Ich habe ein Szenario, in dem ich eine Variante eines Kuchenmusters implementieren möchte, aber einer Klasse (einem Spark DataFrame) implizite Funktionalität hinzufüge. Grundsätzlich möchte ich einen Code wie den folgenden ausführen können:...

11.01.2017, 13:33