fix(spark): исправлено подключение ноутбуков к кластеру
- Зачем: модули 2–8 в новом процессе выбирали local[*] вместо Spark-кластера. - Что: master перенесён в общий spark-defaults.conf, smoke требует точный адрес кластера, документация и планы синхронизированы. - Проверка: фактическая инициализация всех восьми ноутбуков, повторный getOrCreate, распределённые вычисления, Iceberg/MinIO write-read-cleanup и docker compose config прошли.
This commit is contained in:
1 parent
a085b2fc55
commit
91a5c85469
13 files changed
+32
-23
No files matched your search
@@ -25,8 +25,8 @@
|
||||
"metadata": {},
|
||||
"outputs": [],
|
||||
"source": [
|
||||
"# Мы не указываем .master() явно, так как он и другие настройки Iceberg\n",
|
||||
"# подтягиваются из конфигурации spark-defaults.conf при старте сессии.\n",
|
||||
"# Адрес Spark-кластера и настройки Iceberg берутся из spark-defaults.conf.\n",
|
||||
"# Поэтому в ноутбуке достаточно задать имя приложения.\n",
|
||||
"from pyspark.sql import SparkSession\n",
|
||||
"\n",
|
||||
"spark = SparkSession.builder \\\n",
|
||||
|
||||
Reference in new issue
Block a user