fix(spark): исправлено подключение ноутбуков к кластеру

- Зачем: модули 2–8 в новом процессе выбирали local[*] вместо Spark-кластера.
- Что: master перенесён в общий spark-defaults.conf, smoke требует точный адрес кластера, документация и планы синхронизированы.
- Проверка: фактическая инициализация всех восьми ноутбуков, повторный getOrCreate, распределённые вычисления, Iceberg/MinIO write-read-cleanup и docker compose config прошли.
This commit is contained in:
ddadmin committed 2026-09-15 08:18:33 -04:00
1 parent a085b2fc55
commit 91a5c85469
13 files changed
+32 -23

No files matched your search

+2 -2
View File
@@ -25,8 +25,8 @@
"metadata": {},
"outputs": [],
"source": [
"# Мы не указываем .master() явно, так как он и другие настройки Iceberg\n",
"# подтягиваются из конфигурации spark-defaults.conf при старте сессии.\n",
"# Адрес Spark-кластера и настройки Iceberg берутся из spark-defaults.conf.\n",
"# Поэтому в ноутбуке достаточно задать имя приложения.\n",
"from pyspark.sql import SparkSession\n",
"\n",
"spark = SparkSession.builder \\\n",