fix(spark): исправлено подключение ноутбуков к кластеру
- Зачем: модули 2–8 в новом процессе выбирали local[*] вместо Spark-кластера. - Что: master перенесён в общий spark-defaults.conf, smoke требует точный адрес кластера, документация и планы синхронизированы. - Проверка: фактическая инициализация всех восьми ноутбуков, повторный getOrCreate, распределённые вычисления, Iceberg/MinIO write-read-cleanup и docker compose config прошли.
This commit is contained in:
1 parent
a085b2fc55
commit
91a5c85469
13 files changed
+32
-23
No files matched your search
@@ -1,5 +1,8 @@
|
||||
# spark/spark-defaults.conf
|
||||
|
||||
# Все SparkSession из Jupyter подключаются к кластеру по умолчанию
|
||||
spark.master spark://spark-master:7077
|
||||
|
||||
# Включаем Iceberg extensions
|
||||
spark.sql.extensions org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions
|
||||
|
||||
|
||||
Reference in new issue
Block a user