apache-spark-mllib, Seitenzahl 1

0

Antworten

Spark LDA verbraucht zu viel Speicher

Ich versuche, Funken mllib lda zu verwenden, um meinen Dokumentenkorpus zusammenzufassen. Meine Problemeinstellung ist wie unten. über 100.000 Dokumente etwa 400.000 einzelne Wörter 100 Cluster Ich habe 16 Server (jeder hat 20 Kern...

14.03.2016, 03:59

2

Antworten

Spark Der lineare MLLib-Regressionsmodellabschnitt ist immer 0.0?

Ich beginne gerade mit ML und Apache Spark, also habe ich die lineare Regression basierend auf den Spark-Beispielen getestet. Ich kann nicht scheinen, ein richtiges Modell für irgendwelche Daten außer dem Beispiel in dem Beispiel zu erzeugen, un...

08.10.2014, 14:42

4

Antworten

PySpark & MLLib: Klassenwahrscheinlichkeiten von zufälligen Waldvorhersagen

Ich versuche, die Klassenwahrscheinlichkeiten eines zufälligen Waldobjekts zu extrahieren, das ich mit PySpark trainiert habe. Ich sehe jedoch nirgendwo in der Dokumentation ein Beispiel dafür und auch keine Methode von RandomForestModel ....

02.03.2015, 20:15

2

Antworten

(Spark) Objekt {Name} ist kein Mitglied des Pakets org.apache.spark.ml

Ich versuche, eine in sich geschlossene Anwendung mit scala on apache spark basierend auf einem Beispiel hier auszuführen: Ссылка Hier ist mein vollständiger Code: %Vor% Abhängigkeiten in build.sbt: %Vor% Allerdings habe ich nach de...

27.10.2016, 10:07

5

Antworten

PySpark & MLLib: Zufällige Forest Feature-Bedeutungen

Ich versuche, die Feature-Imports eines zufälligen Forest-Objekts, das ich mit PySpark trainiert habe, zu extrahieren. Ich sehe jedoch kein Beispiel dafür, dies irgendwo in der Dokumentation zu tun, noch ist es eine Methode von RandomForestModel...

10.03.2015, 19:01

1

Antwort

Hängen Sie Metadaten an die Vektorspalte in Spark an

Kontext: Ich habe einen Datenrahmen mit zwei Spalten: Label und Features. %Vor% Where features ist eine mllib.linalg.VectorUDT vom numerischen Typ, die mit VectorAssembler erstellt wurde. Frage: Gibt es eine Möglichkeit, dem Feature...

10.02.2016, 01:07

1

Antwort

Apache Spark - MlLib - Gemeinsame Filterung

Ich versuche, MlLib für meine kollaborative Filterung zu verwenden. Ich erhalte den folgenden Fehler in meinem Scala-Programm, wenn ich es in Apache Spark 1.0.0 ausführe. %Vor% Wie kann ich diesen Fehler beheben?

15.07.2014, 12:32

1

Antwort

Was ist der Unterschied zwischen Spark ML- und MLLIB-Paketen?

Ich habe bemerkt, dass es in SparkML zwei LinearRegressionModel -Klassen gibt, eine in ML und eine weitere in MLLib -Paket. Diese zwei sind ziemlich unterschiedlich implementiert - z.B. Der eine von MLLib implementiert Serializable...

08.08.2016, 18:10

1

Antwort

Apache Spark: Wie erstelle ich eine Matrix aus einem DataFrame?

Ich habe einen Datenrahmen in Apache Spark mit einem Array von ganzen Zahlen, die Quelle ist eine Reihe von Bildern. Ich möchte schließlich PCA machen, aber ich habe Probleme, nur eine Matrix aus meinen Arrays zu erstellen. Wie erstelle ich eine...

22.07.2015, 15:47

2

Antworten

SPARK, ML, Optimierung, CrossValidator: Zugriff auf die Metriken

Um einen NaiveBayes-Klassenklassifikator zu erstellen, verwende ich einen CrossValidator, um die besten Parameter in meiner Pipeline auszuwählen: %Vor% Die Pipeline enthält übliche Transformatoren und Schätzfunktionen in der folgenden Reihen...

08.01.2016, 13:59