feat(course): add SparkSession setup practice to module 3
This commit is contained in:
1 parent
00942c255f
commit
7c5e976405
10 files changed
+523
-22
No files matched your search
@@ -55,6 +55,7 @@
|
||||
5. Умеет реализовать простой поток `raw -> bronze -> silver` с базовыми трансформациями и сохранением воспроизводимости шагов.
|
||||
6. Умеет читать одну и ту же таблицу из `Spark` и `Trino` и понимает, почему это возможно без копирования данных.
|
||||
7. Умеет выполнить базовые безопасные операции с таблицей: изменение схемы, просмотр snapshot-ов, чтение предыдущего состояния, базовый `compaction` и `vacuum`.
|
||||
8. Умеет создать `SparkSession` для кластера с подготовленным каталогом, проверить фактические настройки и объяснить, какие из них можно изменить в работающей сессии, а для каких нужен новый запуск.
|
||||
|
||||
Трассировка этих outcomes на модули и checkpoints фиксируется в [course_program.md](./course_program.md).
|
||||
|
||||
@@ -91,6 +92,7 @@
|
||||
* работа с raw-данными;
|
||||
* построение слоев `bronze` и `silver`;
|
||||
* чтение и запись через `Spark`;
|
||||
* обязательная практика базовой настройки `SparkSession` в начале модуля 3: источники конфигурации, подключение к кластеру, проверка Iceberg/MinIO и жизненный цикл сессии;
|
||||
* чтение через `Trino`;
|
||||
* базовое schema evolution;
|
||||
* snapshot/time travel на прикладном уровне;
|
||||
@@ -147,6 +149,7 @@
|
||||
Это целевые ориентиры курса, но не blocking acceptance criteria для материалов.
|
||||
|
||||
1. Студент проходит курс за `~12-15 часов` вдумчивой работы.
|
||||
Практика настройки сессии в модуле 3 рассчитана на 20–30 минут внутри этого диапазона. Это предварительная оценка: машинный прогон не измеряет время самостоятельной работы студента.
|
||||
2. Студент после курса способен безопасно выполнить базовые операции в Lakehouse-стенде без постоянной внешней помощи.
|
||||
3. Студент может внятно объяснить ключевые архитектурные принципы Lakehouse на уровне junior/middle interview readiness.
|
||||
|
||||
@@ -155,6 +158,7 @@
|
||||
1. В составе курса есть стартовая документация до первого ноутбука, включая prerequisites, запуск стенда, вход в `Jupyter` и получение учебного data bundle.
|
||||
2. Студент проходит обязательные `checkpoints` по урокам.
|
||||
3. Студент самостоятельно выполняет набор практик на одном датасете, включая:
|
||||
* создание Spark-сессии по шаблону и проверку подключения на отдельной маленькой Iceberg-таблице;
|
||||
* загрузку raw-данных;
|
||||
* построение `bronze`;
|
||||
* построение `silver`;
|
||||
|
||||
Reference in new issue
Block a user