apache-spark-2.0

Ich dachte, dass Funke mit der Integration des Projekts "tungeste" automatisch Off-Heap-Speicher verwenden würde. Was für sind spark.memory.offheap.size und spark.memory.offheap.enabled? Muss ich hier manuell den Umfang des Off-Heap-Speichers...

Ich benutze Spark 2.1.1, und ich benutze die Scala API, obwohl die Sprache weniger wichtig ist. Ich bin daran interessiert, Funkenabfragen / Pipelines effizient zu optimieren. Ich habe viel Material gelesen (einschließlich des großartigen "Learn...

Ich habe eine Spark-Anwendung, die die neue API von Spark 2.0 mit SparkSession verwendet. Ich baue diese Anwendung auf der anderen Anwendung, die SparkContext verwendet. Ich möchte SparkContext an meine Anwendung weitergeben und SparkS...