google-cloud-dataproc

Welchen Port sollte ich verwenden, um auf die Spark-Benutzeroberfläche von Google Dataproc zuzugreifen? Ich habe versucht Port 4040 und 7077 sowie eine Reihe anderer Ports, die ich gefunden habe, mit netstat -pln Firewall ist richtig ko...

Unser Stack besteht aus Google Data Proc (Spark 2.0) und Google BigTable (HBase 1.2.0) und ich suche nach einem Connector, der mit diesen Versionen arbeitet. Die Spark 2.0 und die neue DataSet API-Unterstützung ist für die gefundenen Connecto...

Gemäß den Docos von Dataproc gibt es " native und automatische Integrationen mit BigQuery " . Ich habe eine Tabelle in BigQuery. Ich möchte diese Tabelle lesen und eine Analyse mit dem Dataproc-Cluster durchführen, den ich erstellt habe (mi...

Ich habe einen großen Datensatz in einer BigQuery-Tabelle gespeichert und möchte ihn in einen pypark-RDD für die ETL-Datenverarbeitung laden. Ich habe festgestellt, dass BigQuery das Hadoop-Eingabe / Ausgabe-Format unterstützt Ссылка...

Ich verwende die "Vorschau" Google DataProc Image 1.1 mit Spark 2.0.0. Um eine meiner Operationen abzuschließen, muss ich ein kartesisches Produkt vervollständigen. Seit der Version 2.0.0 wurde ein Spark-Konfigurationsparameter erstellt (spark.s...