docs(spark): simplify session setup explanations

This commit is contained in:
ddadmin committed 2026-09-15 08:36:34 -04:00
1 parent 91a5c85469
commit a5244f8a0b
6 files changed
+30 -16

No files matched your search

+10 -5
View File
@@ -1,11 +1,11 @@
# План развития курса «Lakehouse без магии»
Статус: ближайшие доработки определены, реализация впереди.
Статус: исправление подключения Spark готово к проверке; остальные работы запланированы.
Последнее обновление: 2026-09-15.
Здесь собираем отзывы студентов, выбираем следующие улучшения и объясняем их порядок. Подробные задания, критерии приёмки и актуальный статус исполнения хранятся в [Gitea Issues](https://git.dementev.space/ddmitry/mini-lakehouse-lab/issues).
Текущие рамки курса задаёт [PRD](../docs/course_prd.md), а состав уроков — [программа](../docs/course_program.md). Запись в этом плане означает будущую работу. При реализации изменения сначала обновляем соответствующий канонический документ, затем учебные материалы и ссылки на них.
Текущие рамки курса задаёт [PRD](../docs/course_prd.md), а состав уроков — [программа](../docs/course_program.md). Статус каждой работы указан ниже. При реализации изменения сначала обновляем соответствующий канонический документ, затем учебные материалы и ссылки на них.
## Обратная связь
@@ -22,13 +22,18 @@
### 1. Проверить и исправить создание Spark-сессий
**Статус:** выполнено в задаче #1.
**Статус:** исправление проверено в ветке `1-spark-session-master`, ожидает слияния.
**Задача:** [#1 — подключение Spark-сессий в новом ядре](https://git.dementev.space/ddmitry/mini-lakehouse-lab/issues/1).
Проверка в отдельных процессах показала: модуль 1 подключался к кластеру, а модули 2–8 без `spark.master` запускали Spark в `local[*]`. Теперь общий `spark-defaults.conf` задаёт `spark://spark-master:7077`, а helper модуля 1 и остальные ноутбуки используют этот единый источник.
В новых процессах модуль 1 подключался к кластеру, а модули 2–8 запускали Spark
локально (`local[*]`). В исправлении все восемь ноутбуков берут адрес кластера
из `spark/spark-defaults.conf`.
**Результат:** каждый ноутбук подключается к ожидаемому Spark-кластеру после перезапуска ядра. Повторный `getOrCreate()` в том же ядре возвращает существующую сессию; это поведение и источник настроек объяснены в onboarding и техническом reference. Подробные проверки сохранены в задаче #1.
**Проверено:** инициализация каждого ноутбука в отдельном процессе,
вычисление на кластере, повторный `getOrCreate()`, запись и чтение тестовой
Iceberg-таблицы. Перед закрытием #1 нужно опубликовать в задаче результаты
проверок и их ограничения.
### 2. Добавить практику «Как настроен Spark в нашем стенде»