MinMax Normalisierung in scala

8

Ich habe eine org.apache.spark.sql.DataFrame mit mehreren Spalten. Ich möchte 1 Spalte (lat_long_dist) skalieren mit MinMax-Normalisierung oder einer beliebigen Technik, um die Daten zwischen -1 und 1 zu skalieren und den Datentyp als org.apache.spark.sql.DataFrame

beizubehalten %Vor%

Ich habe die StandardScaler-Option gefunden, aber dazu muss das Dataset transformiert werden, bevor ich die Transformation durchführen kann. Gibt es einen einfachen, sauberen Weg.

    
user3243478 25.11.2015, 19:24
quelle

2 Antworten

9

Ich denke, was Sie wollen, ist so etwas

%Vor%     
zero323 25.11.2015, 20:00
quelle
11

Hier ist ein weiterer Vorschlag, wenn Sie bereits mit Spark spielen.

Warum verwenden Sie MinMaxScaler nicht im ml-Paket?

Versuchen wir das mit dem gleichen Beispiel von zero323.

%Vor%

Nutzen Sie die Möglichkeit, mehrere Spalten gleichzeitig zu skalieren.

%Vor%     
Lyle 28.04.2016 08:43
quelle

Tags und Links

Django: Verwenden von Annotate, Count und Distinct in einem Queryset Warum funktioniert (+) mit dem Typ (a - b - b)?