pyspark: ValueError: Einige der Typen können nach dem Schluss nicht bestimmt werden

8

Ich habe einen Pandas-Datenrahmen my_df , und my_df.dtypes gibt uns:

%Vor%

Dann versuche ich, den Pandas-Datenrahmen my_df in einen Spark-Datenrahmen umzuwandeln, indem ich Folgendes mache:

%Vor%

Allerdings habe ich folgende Fehler:

%Vor%

Weiß jemand, was der obige Fehler bedeutet? Danke!

    
Edamame 09.11.2016, 23:11
quelle

2 Antworten

7

Um den Feldtyp zu bestimmen, betrachtet PySpark die Nicht-None-Datensätze in jedem Feld. Wenn ein Feld nur keine Datensätze enthält, kann PySpark den Typ nicht ableiten und wird diesen Fehler auslösen.

    
Gregology 15.11.2016 18:28
quelle
0

Und um dieses Problem zu beheben, könnten Sie Ihr eigenes definiertes Schema angeben.

Zum Beispiel:

Um den Fehler zu reproduzieren:

%Vor%

Um den Fehler zu beheben:

%Vor%     
Akavall 15.01.2018 18:10
quelle

Tags und Links

Django: Verwenden von Annotate, Count und Distinct in einem Queryset Was ist der Rückgabetyp Flow einer zustandslosen Funktionalkomponente React?