docs(course): integrate Spark setup into the module flow
This commit is contained in:
1 parent
16f76d63fc
commit
9d5b0b716e
9 files changed
+122
-214
No files matched your search
+3
-18
@@ -36,28 +36,13 @@ Iceberg-таблицы. Результаты проверок и их огран
|
||||
|
||||
### 2. Добавить практику «Как настроен Spark в нашем стенде»
|
||||
|
||||
**Статус:** готово к ревью по #2; зависимость #1 закрыта, её итог прочитан. Практика добавлена в начало модуля 3, PRD, программа и справочные материалы обновлены.
|
||||
|
||||
**Результат:** проверены демонстрация, заполненный шаблон и контрольное решение, повторные ячейки, настоящий перезапуск ядра, временная Iceberg-таблица и весь raw-ingest. Машинный прогон — 4 минуты 10 секунд; время самостоятельного прохождения студентом ещё не измерено. Подробности и ограничения — в [отчёте проверки](issue-2-spark-session-validation.md).
|
||||
**Статус:** на ревью, [MR #4](https://git.dementev.space/ddmitry/mini-lakehouse-lab/pulls/4).
|
||||
|
||||
**Задача:** [#2 — практика базовой настройки SparkSession](https://git.dementev.space/ddmitry/mini-lakehouse-lab/issues/2).
|
||||
|
||||
Практику разместить в начале модуля 3. Ориентир — 20–30 минут; фактическую длительность проверить при прохождении.
|
||||
В модуле 3 студент готовит Spark-сессию, проверяет подключение и затем переходит к загрузке и чтению Taxi. Содержание и checkpoint описаны в [программе](../docs/course_program.md#модуль-3-raw-данные-и-первое-чтение-в-spark).
|
||||
|
||||
Студент должен научиться:
|
||||
|
||||
- объяснять роли `SparkSession`, `SparkContext`, driver и executors на примере стенда;
|
||||
- читать код с `master`, `appName` и `getOrCreate`;
|
||||
- находить источник настройки: конфигурационный файл, параметры запуска или код;
|
||||
- проверять фактический master и выбранные настройки каталога Iceberg и MinIO;
|
||||
- различать настройки, меняемые во время работы, и настройки, требующие нового запуска;
|
||||
- понимать, что повторное выполнение ячейки может использовать уже существующую сессию.
|
||||
|
||||
**Практика и checkpoint:** студент заполняет небольшой шаблон создания сессии, задаёт подключение к кластеру и имя приложения, использует подготовленные настройки каталога, проверяет фактическое подключение и читает небольшую учебную Iceberg-таблицу. Таблица должна создаваться самой практикой: демонстрационные таблицы модуля 2 могут быть удалены при его завершении. Студент объясняет, какие настройки он задал сам, какие предоставил стенд и что потребуется повторить в новом ядре.
|
||||
|
||||
При реализации обновить learning outcomes и scope в PRD, содержание и checkpoint модуля 3 в программе, ноутбук и связанные справочные материалы. Сохранить структуру из восьми модулей.
|
||||
|
||||
**Граница темы:** базовая настройка подключения и жизненный цикл сессии. Подробный подбор памяти, числа executors, shuffle и GC остаётся за рамками этой доработки.
|
||||
Код проверен на стенде, включая перезапуск ядра и полный raw-ingest. Замеры и ограничения проверки сохранены в [отчете](issue-2-spark-session-validation.md).
|
||||
|
||||
### 3. Собрать замечания по оставшейся части курса
|
||||
|
||||
|
||||
Reference in new issue
Block a user