Ich bin neu zu funken und spielte mit Pysparks.sql herum. Laut der pyspark.sql Dokumentation hier , kann man das einstellen Spark Datenrahmen und Schema wie folgt:
%Vor% Meine Frage ist, wofür steht True in der obigen schema Liste? Ich kann es in der Dokumentation nicht finden. Vielen Dank im Voraus
Dies bedeutet, wenn die Spalte Nullwerte zulässt, true für Nullwerte und false für nicht nullable
StructField (name, dataType, nullable): Repräsentiert ein Feld in einem StructType. Der Name eines Feldes wird durch den Namen angezeigt. Der Datentyp eines Felds wird durch dataType angegeben. Nullwert wird verwendet, um anzugeben, ob Werte dieser Felder Nullwerte haben dürfen.
Weitere Informationen finden Sie im Spark SQL- und DataFrame-Handbuch .
Tags und Links apache-spark pyspark