fix(spark): подключение всех ноутбуков к кластеру #3

2026-09-15T15:39:51+03:00

ddmitry commented

2026-09-15 15:39:51 +03:00

В отдельном процессе модули 2–8 запускали Spark в local[*], хотя курс предполагает работу на кластере. Теперь все восемь ноутбуков получают spark.master=spark://spark-master:7077 из общего spark/spark-defaults.conf; helper модуля 1 использует ту же конфигурацию, а smoke проверяет точный адрес кластера.

Уточнены комментарии, инструкция запуска, справочник и планы модулей. Формулировки прошли редактуру и приняты автором курса.

Проверено: исходное поведение восьми способов создания сессии; после исправления — фактическая инициализация из каждого .ipynb в отдельном Python/JVM-процессе и вычисление суммы 0…99 на четырех партициях (4950); повторный getOrCreate(); кластерный smoke на миллионе строк; запись и чтение отдельной Iceberg-таблицы с удалением тестовых объектов. Также прошли docker compose config, git diff --check и проверка неизменности исполняемого кода после редактуры.

Ограничения: проверялась инициализация, а не полное прохождение ноутбуков. Новый запуск проверялся отдельными процессами в Jupyter-контейнере; перезапуск ядра через UI не проверялся. Учебные таблицы не изменялись, volumes сохранены.

Задача: #1. Подробный протокол проверок и ограничения.

В отдельном процессе модули 2–8 запускали Spark в `local[*]`, хотя курс предполагает работу на кластере. Теперь все восемь ноутбуков получают `spark.master=spark://spark-master:7077` из общего `spark/spark-defaults.conf`; helper модуля 1 использует ту же конфигурацию, а smoke проверяет точный адрес кластера. Уточнены комментарии, инструкция запуска, справочник и планы модулей. Формулировки прошли редактуру и приняты автором курса. Проверено: исходное поведение восьми способов создания сессии; после исправления — фактическая инициализация из каждого `.ipynb` в отдельном Python/JVM-процессе и вычисление суммы 0…99 на четырех партициях (4950); повторный `getOrCreate()`; кластерный smoke на миллионе строк; запись и чтение отдельной Iceberg-таблицы с удалением тестовых объектов. Также прошли `docker compose config`, `git diff --check` и проверка неизменности исполняемого кода после редактуры. Ограничения: проверялась инициализация, а не полное прохождение ноутбуков. Новый запуск проверялся отдельными процессами в Jupyter-контейнере; перезапуск ядра через UI не проверялся. Учебные таблицы не изменялись, volumes сохранены. Задача: #1. [Подробный протокол проверок и ограничения](https://git.dementev.space/ddmitry/mini-lakehouse-lab/issues/1#issuecomment-2963).

ddmitry added 2 commits 2026-09-15 15:39:53 +03:00

fix(spark): исправлено подключение ноутбуков к кластеру 91a5c85469

- Зачем: модули 2–8 в новом процессе выбирали local[*] вместо Spark-кластера.
- Что: master перенесён в общий spark-defaults.conf, smoke требует точный адрес кластера, документация и планы синхронизированы.
- Проверка: фактическая инициализация всех восьми ноутбуков, повторный getOrCreate, распределённые вычисления, Iceberg/MinIO write-read-cleanup и docker compose config прошли.

docs(spark): simplify session setup explanations a5244f8a0b

ddmitry referenced this pull request

2026-09-15 15:41:12 +03:00

Проверить и исправить подключение Spark-сессий в новом ядре каждого ноутбука #1

ddmitry added 1 commit 2026-09-15 15:41:13 +03:00

docs(course): record Spark session fix completion 2cdecd82f8

ddmitry merged commit 00942c255f into main

2026-09-15 15:42:01 +03:00

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: ddmitry/mini-lakehouse-lab#3