docs(course): integrate Spark setup into the module flow

This commit is contained in:
ddadmin committed 2026-09-15 09:12:28 -04:00
1 parent 16f76d63fc
commit 9d5b0b716e
9 files changed
+122 -214

No files matched your search

+3 -18
View File
@@ -36,28 +36,13 @@ Iceberg-таблицы. Результаты проверок и их огран
### 2. Добавить практику «Как настроен Spark в нашем стенде»
**Статус:** готово к ревью по #2; зависимость #1 закрыта, её итог прочитан. Практика добавлена в начало модуля 3, PRD, программа и справочные материалы обновлены.
**Результат:** проверены демонстрация, заполненный шаблон и контрольное решение, повторные ячейки, настоящий перезапуск ядра, временная Iceberg-таблица и весь raw-ingest. Машинный прогон — 4 минуты 10 секунд; время самостоятельного прохождения студентом ещё не измерено. Подробности и ограничения — в [отчёте проверки](issue-2-spark-session-validation.md).
**Статус:** на ревью, [MR #4](https://git.dementev.space/ddmitry/mini-lakehouse-lab/pulls/4).
**Задача:** [#2 — практика базовой настройки SparkSession](https://git.dementev.space/ddmitry/mini-lakehouse-lab/issues/2).
Практику разместить в начале модуля 3. Ориентир — 20–30 минут; фактическую длительность проверить при прохождении.
В модуле 3 студент готовит Spark-сессию, проверяет подключение и затем переходит к загрузке и чтению Taxi. Содержание и checkpoint описаны в [программе](../docs/course_program.md#модуль-3-raw-данные-и-первое-чтение-в-spark).
Студент должен научиться:
- объяснять роли `SparkSession`, `SparkContext`, driver и executors на примере стенда;
- читать код с `master`, `appName` и `getOrCreate`;
- находить источник настройки: конфигурационный файл, параметры запуска или код;
- проверять фактический master и выбранные настройки каталога Iceberg и MinIO;
- различать настройки, меняемые во время работы, и настройки, требующие нового запуска;
- понимать, что повторное выполнение ячейки может использовать уже существующую сессию.
**Практика и checkpoint:** студент заполняет небольшой шаблон создания сессии, задаёт подключение к кластеру и имя приложения, использует подготовленные настройки каталога, проверяет фактическое подключение и читает небольшую учебную Iceberg-таблицу. Таблица должна создаваться самой практикой: демонстрационные таблицы модуля 2 могут быть удалены при его завершении. Студент объясняет, какие настройки он задал сам, какие предоставил стенд и что потребуется повторить в новом ядре.
При реализации обновить learning outcomes и scope в PRD, содержание и checkpoint модуля 3 в программе, ноутбук и связанные справочные материалы. Сохранить структуру из восьми модулей.
**Граница темы:** базовая настройка подключения и жизненный цикл сессии. Подробный подбор памяти, числа executors, shuffle и GC остаётся за рамками этой доработки.
Код проверен на стенде, включая перезапуск ядра и полный raw-ingest. Замеры и ограничения проверки сохранены в [отчете](issue-2-spark-session-validation.md).
### 3. Собрать замечания по оставшейся части курса