Kann die col-Funktion in pyspark nicht finden

Es existiert. Es ist nur nicht explizit definiert. Aus pyspark.sql.functions exportierte Funktionen sind dünne Wrapper um JVM-Code und werden mit wenigen Ausnahmen, die eine spezielle Behandlung erfordern, automatisch mit Hilfsmethoden generiert.

Wenn Sie die Quelle sorgfältig prüfen, finden Sie col aufgelistet unter anderem _functions . Dieses Wörterbuch ist weiter iteriert und _create_function wird verwendet, um Wrapper zu generieren. Jede generierte Funktion wird direkt einem entsprechenden Namen in globals zugeordnet.

Schließlich __all__ , das eine Liste der aus dem Modul exportierten Elemente definiert, exportiert nur alle globals , ausgenommen die in der Blacklist enthaltenen.

Wenn dieser Mechanismus noch nicht klar ist, können Sie ein Spielzeugbeispiel erstellen:

• Erstellen Sie das Python-Modul namens foo.py mit folgendem Inhalt:

  %Vor%

• Platzieren Sie es irgendwo im Python-Pfad (zum Beispiel im Arbeitsverzeichnis).

• Import foo :

  %Vor%

Ich stieß auf ein ähnliches Problem, als ich versuchte, eine Pyspark-Entwicklungsumgebung mit Eclipse und pyDev einzurichten. pyspark verwendet einen dynamischen Namespace. Um es zur Arbeit zu bringen, musste ich pyspark hinzufügen, um "Builtins" zu erzwingen

Ссылка