docs(spark): simplify session setup explanations
This commit is contained in:
1 parent
91a5c85469
commit
a5244f8a0b
6 files changed
+30
-16
No files matched your search
+10
-5
@@ -1,11 +1,11 @@
|
||||
# План развития курса «Lakehouse без магии»
|
||||
|
||||
Статус: ближайшие доработки определены, реализация впереди.
|
||||
Статус: исправление подключения Spark готово к проверке; остальные работы запланированы.
|
||||
Последнее обновление: 2026-09-15.
|
||||
|
||||
Здесь собираем отзывы студентов, выбираем следующие улучшения и объясняем их порядок. Подробные задания, критерии приёмки и актуальный статус исполнения хранятся в [Gitea Issues](https://git.dementev.space/ddmitry/mini-lakehouse-lab/issues).
|
||||
|
||||
Текущие рамки курса задаёт [PRD](../docs/course_prd.md), а состав уроков — [программа](../docs/course_program.md). Запись в этом плане означает будущую работу. При реализации изменения сначала обновляем соответствующий канонический документ, затем учебные материалы и ссылки на них.
|
||||
Текущие рамки курса задаёт [PRD](../docs/course_prd.md), а состав уроков — [программа](../docs/course_program.md). Статус каждой работы указан ниже. При реализации изменения сначала обновляем соответствующий канонический документ, затем учебные материалы и ссылки на них.
|
||||
|
||||
## Обратная связь
|
||||
|
||||
@@ -22,13 +22,18 @@
|
||||
|
||||
### 1. Проверить и исправить создание Spark-сессий
|
||||
|
||||
**Статус:** выполнено в задаче #1.
|
||||
**Статус:** исправление проверено в ветке `1-spark-session-master`, ожидает слияния.
|
||||
|
||||
**Задача:** [#1 — подключение Spark-сессий в новом ядре](https://git.dementev.space/ddmitry/mini-lakehouse-lab/issues/1).
|
||||
|
||||
Проверка в отдельных процессах показала: модуль 1 подключался к кластеру, а модули 2–8 без `spark.master` запускали Spark в `local[*]`. Теперь общий `spark-defaults.conf` задаёт `spark://spark-master:7077`, а helper модуля 1 и остальные ноутбуки используют этот единый источник.
|
||||
В новых процессах модуль 1 подключался к кластеру, а модули 2–8 запускали Spark
|
||||
локально (`local[*]`). В исправлении все восемь ноутбуков берут адрес кластера
|
||||
из `spark/spark-defaults.conf`.
|
||||
|
||||
**Результат:** каждый ноутбук подключается к ожидаемому Spark-кластеру после перезапуска ядра. Повторный `getOrCreate()` в том же ядре возвращает существующую сессию; это поведение и источник настроек объяснены в onboarding и техническом reference. Подробные проверки сохранены в задаче #1.
|
||||
**Проверено:** инициализация каждого ноутбука в отдельном процессе,
|
||||
вычисление на кластере, повторный `getOrCreate()`, запись и чтение тестовой
|
||||
Iceberg-таблицы. Перед закрытием #1 нужно опубликовать в задаче результаты
|
||||
проверок и их ограничения.
|
||||
|
||||
### 2. Добавить практику «Как настроен Spark в нашем стенде»
|
||||
|
||||
|
||||
Reference in new issue
Block a user