docs(course): integrate Spark setup into the module flow
This commit is contained in:
ddadmin committed
1 parent
16f76d63fc
commit
9d5b0b716e
9 files changed
+122
-214
No files matched your search
+3
-7
@@ -50,12 +50,11 @@
|
||||
|
||||
1. Понимает различие между `storage`, `catalog` и `compute`, и может объяснить роль `MinIO`, `PostgreSQL`, `Spark` и `Trino` в этом стенде.
|
||||
2. Умеет поднять локальный стенд, проверить его базовую работоспособность и использовать логи/веб-интерфейсы для первичной диагностики проблем.
|
||||
3. Умеет загрузить raw-данные, прочитать их в `Spark`, проверить схему и подготовить данные к дальнейшей обработке.
|
||||
3. Умеет настроить Spark-сессию для кластера, объяснить происхождение настроек и повторить подключение в новом ядре; загрузить raw-данные, прочитать их и проверить схему.
|
||||
4. Умеет создать и заполнить `Iceberg`-таблицу как основной табличный формат курса.
|
||||
5. Умеет реализовать простой поток `raw -> bronze -> silver` с базовыми трансформациями и сохранением воспроизводимости шагов.
|
||||
6. Умеет читать одну и ту же таблицу из `Spark` и `Trino` и понимает, почему это возможно без копирования данных.
|
||||
7. Умеет выполнить базовые безопасные операции с таблицей: изменение схемы, просмотр snapshot-ов, чтение предыдущего состояния, базовый `compaction` и `vacuum`.
|
||||
8. Умеет создать `SparkSession` для кластера с подготовленным каталогом, проверить фактические настройки и объяснить, какие из них можно изменить в работающей сессии, а для каких нужен новый запуск.
|
||||
|
||||
Трассировка этих outcomes на модули и checkpoints фиксируется в [course_program.md](./course_program.md).
|
||||
|
||||
@@ -91,8 +90,7 @@
|
||||
* один основной табличный формат: `Iceberg`;
|
||||
* работа с raw-данными;
|
||||
* построение слоев `bronze` и `silver`;
|
||||
* чтение и запись через `Spark`;
|
||||
* обязательная практика базовой настройки `SparkSession` в начале модуля 3: источники конфигурации, подключение к кластеру, проверка Iceberg/MinIO и жизненный цикл сессии;
|
||||
* базовая настройка сессии, чтение и запись через `Spark`;
|
||||
* чтение через `Trino`;
|
||||
* базовое schema evolution;
|
||||
* snapshot/time travel на прикладном уровне;
|
||||
@@ -149,7 +147,6 @@
|
||||
Это целевые ориентиры курса, но не blocking acceptance criteria для материалов.
|
||||
|
||||
1. Студент проходит курс за `~12-15 часов` вдумчивой работы.
|
||||
Практика настройки сессии в модуле 3 рассчитана на 20–30 минут внутри этого диапазона. Это предварительная оценка: машинный прогон не измеряет время самостоятельной работы студента.
|
||||
2. Студент после курса способен безопасно выполнить базовые операции в Lakehouse-стенде без постоянной внешней помощи.
|
||||
3. Студент может внятно объяснить ключевые архитектурные принципы Lakehouse на уровне junior/middle interview readiness.
|
||||
|
||||
@@ -158,8 +155,7 @@
|
||||
1. В составе курса есть стартовая документация до первого ноутбука, включая prerequisites, запуск стенда, вход в `Jupyter` и получение учебного data bundle.
|
||||
2. Студент проходит обязательные `checkpoints` по урокам.
|
||||
3. Студент самостоятельно выполняет набор практик на одном датасете, включая:
|
||||
* создание Spark-сессии по шаблону и проверку подключения на отдельной маленькой Iceberg-таблице;
|
||||
* загрузку raw-данных;
|
||||
* подключение к Spark и загрузку raw-данных;
|
||||
* построение `bronze`;
|
||||
* построение `silver`;
|
||||
* создание/чтение `Iceberg`-таблицы;
|
||||
|
||||
+16
-28
@@ -10,8 +10,6 @@
|
||||
|
||||
**Ориентир на модуль:** в среднем `~1.5 часа`, но финальная практика может занять дольше.
|
||||
|
||||
В модуле 3 дополнительно предусмотрены 20–30 минут на настройку Spark-сессии; ориентир на весь модуль — около 2 часов. Общие `~12-15 часов` пока остаются предварительной оценкой: её нужно уточнить после самостоятельного прохождения студентом.
|
||||
|
||||
**Сквозной учебный кейс:** `NYC TLC Yellow Taxi Trip Records` + `Taxi Zone Lookup`.
|
||||
|
||||
**Методика каждого урока:** `объяснение -> демонстрация -> самостоятельное повторение -> checkpoint`.
|
||||
@@ -71,12 +69,11 @@
|
||||
| --- | --- | --- |
|
||||
| `LO1`. Понимание различий между `storage`, `catalog`, `compute` | 1, 2, 6 | checkpoints модулей 2 и 6 |
|
||||
| `LO2`. Умение поднять и диагностировать стенд | 1 | checkpoint модуля 1 |
|
||||
| `LO3`. Умение загрузить raw-данные и проверить схему | 3 | checkpoint модуля 3 |
|
||||
| `LO3`. Умение подключиться к Spark, загрузить raw-данные и проверить схему | 3 | checkpoint модуля 3 |
|
||||
| `LO4`. Умение создать и заполнить `Iceberg`-таблицу | 4 | checkpoint модуля 4 |
|
||||
| `LO5`. Умение собрать поток `raw -> bronze -> silver` | 4, 5, 8 | checkpoints модулей 5 и 8 |
|
||||
| `LO6`. Умение читать одну таблицу из `Spark` и `Trino` | 6, 8 | checkpoint модуля 6 и финальная практика |
|
||||
| `LO7`. Умение выполнять безопасные операции с таблицей | 7, 8 | checkpoints модулей 7 и 8 |
|
||||
| `LO8`. Умение настроить Spark-сессию и проверить подключение | 3 | checkpoint практики настройки в начале модуля 3 |
|
||||
|
||||
## 5. Верхнеуровневая структура практической части
|
||||
|
||||
@@ -127,35 +124,27 @@
|
||||
|
||||
**Рабочее название ноутбука:** `03_raw_ingest_and_first_read.ipynb`
|
||||
|
||||
**Зачем нужен:** научить создавать Spark-сессию для нашего кластера, затем загружать и читать raw-данные.
|
||||
**Зачем нужен:** пройти путь от подключения к Spark до первого чтения и проверки исходных файлов Taxi.
|
||||
|
||||
**Ориентир по времени:** около 2 часов, из них 20–30 минут на подготовку Spark-сессии.
|
||||
|
||||
**Содержание:**
|
||||
|
||||
* обязательная практика «Как настроен Spark в нашем стенде» после ментальной модели модуля 2, до raw-ingest (20–30 минут);
|
||||
* роли `SparkSession`, `SparkContext`, driver и executors; `master`, `appName`, `getOrCreate`, отличие `local` от кластера;
|
||||
* настройки из `spark-defaults.conf`, параметров запуска и кода; подготовленный каталог Iceberg и доступ к MinIO;
|
||||
* проверка фактического master и выбранных несекретных настроек; повторная ячейка, остановка сессии и перезапуск ядра;
|
||||
* изменение часового пояса с восстановлением исходного значения и смена имени приложения при новом запуске; без подбора памяти, executors, shuffle или GC;
|
||||
* работа с заранее подготовленным локальным data bundle из onboarding-документации;
|
||||
* явная загрузка исходных `PARQUET`-файлов в raw-зону;
|
||||
* чтение raw-данных через Spark;
|
||||
* проверка схемы, типов и базового качества данных;
|
||||
* обсуждение того, почему raw лучше не "чинить на месте" и почему датасет не должен скачиваться "из интернета из ноутбука".
|
||||
* подключение к Spark-кластеру: сессия, контекст, driver и executors; настройки из файла, параметров запуска и кода;
|
||||
* повторное использование сессии, остановка и перезапуск ядра; изменение настроек во время работы;
|
||||
* подготовленный data bundle и загрузка исходных файлов в raw-зону MinIO;
|
||||
* чтение через Spark, проверка схемы и типов;
|
||||
* базовые метрики, аномалии и причины сохранять raw без изменений.
|
||||
|
||||
**Практика студента:**
|
||||
|
||||
* выполнить демонстрацию настройки сессии, затем заполнить шаблон с адресом кластера и именем приложения, используя подготовленный каталог;
|
||||
* проверить подключение на собственной маленькой Iceberg-таблице, прочитать две строки и удалить только эту таблицу; данные модуля 2 не нужны;
|
||||
* объяснить происхождение настроек и повторить создание сессии после перезапуска ядра;
|
||||
* проверить состав локально полученного набора `NYC Taxi`;
|
||||
* загрузить его в raw-зону `MinIO`;
|
||||
* прочитать несколько месяцев `NYC Taxi`;
|
||||
* проверить схему и посчитать базовые метрики;
|
||||
* найти простые аномалии или проблемные значения.
|
||||
* заполнить шаблон сессии с подготовленным каталогом Iceberg; проверить подключение на собственной временной таблице и удалить ее;
|
||||
* изменить и восстановить часовой пояс, сравнить повторный вызов builder-а с новым запуском приложения;
|
||||
* проверить состав data bundle и загрузить несколько месяцев Taxi в MinIO;
|
||||
* прочитать поездки и справочник зон, проверить схему и посчитать метрики;
|
||||
* найти проблемные значения и объяснить, почему их сохраняют в raw.
|
||||
|
||||
**Checkpoint настройки:** master равен `spark://spark-master:7077`, имя приложения совпадает с заданным, из собственной Iceberg-таблицы прочитаны строки `0` и `1`, временная таблица удалена. Часовой пояс восстановлен. Студент объясняет, что задал в коде, что взял из стенда, где выполняются вычисления и какие ячейки повторит после перезапуска ядра.
|
||||
|
||||
**Checkpoint raw-ingest:** студент умеет загрузить учебный набор в raw-зону, прочитать raw-данные, проверить схему и объяснить, почему raw-слой нужен как воспроизводимая точка входа.
|
||||
**Checkpoint:** студент создает сессию для кластера, объясняет источники настроек и место выполнения заданий, умеет повторить подключение в новом ядре. Загружает учебный набор в raw-зону, читает его через Spark, проверяет схему и объясняет, зачем сохранять исходные данные.
|
||||
|
||||
### Модуль 4. Первая рабочая Iceberg-таблица и слой bronze
|
||||
|
||||
@@ -269,12 +258,11 @@
|
||||
|
||||
1. Поднимает локальный стенд и диагностирует типовые проблемы на старте.
|
||||
2. Понимает различие между `storage`, `catalog` и `compute`.
|
||||
3. Умеет загрузить raw-данные и прочитать их в Spark.
|
||||
3. Подключается к Spark-кластеру, загружает raw-данные и проверяет их после чтения.
|
||||
4. Умеет создать и заполнить Iceberg-таблицу.
|
||||
5. Умеет построить простой поток `raw -> bronze -> silver`.
|
||||
6. Умеет читать одну и ту же таблицу из `Spark` и `Trino`.
|
||||
7. Умеет выполнять базовые безопасные операции: schema evolution, snapshots/time travel, compaction, vacuum.
|
||||
8. Создаёт Spark-сессию для кластера, проверяет настройки и понимает, когда нужен новый запуск.
|
||||
|
||||
## 7. Что не входит в первую версию курса
|
||||
|
||||
|
||||
+1
-1
@@ -58,7 +58,7 @@
|
||||
|
||||
Driver управляет приложением: выполняет код ноутбука, строит план и отправляет задания. Executors выполняют задания и читают данные. В нашем стенде driver работает в `jupyter`, executors запускаются на Spark worker-ах. Master выделяет приложению ресурсы worker-ов.
|
||||
|
||||
**Где в курсе:** [практика настройки в модуле 3](../notebooks/03_raw_ingest_and_first_read.ipynb).
|
||||
**Где в курсе:** Модуль 3.
|
||||
|
||||
## Структура Iceberg-таблицы
|
||||
|
||||
|
||||
+4
-20
@@ -64,26 +64,10 @@ docker compose down -v
|
||||
или настройки в файле, перезапусти ядро ноутбука и снова выполни ячейки
|
||||
с импортами и созданием сессии.
|
||||
|
||||
Практика с объяснением, шаблоном и проверкой подключения находится в начале
|
||||
[модуля 3](../notebooks/03_raw_ingest_and_first_read.ipynb).
|
||||
В ней `spark.sparkContext.master` и `.appName` показывают фактический кластер
|
||||
и имя приложения. Для SQL-настроек используется `spark.conf.get(...)`;
|
||||
вывод ограничен конкретными несекретными ключами.
|
||||
|
||||
В Spark 3.5.1 `spark.sql.session.timeZone` можно менять через
|
||||
`spark.conf.set(...)` во время работы, сохранив и восстановив исходное значение.
|
||||
Повторный builder с другим `appName` использует прежний контекст и не меняет
|
||||
его фактическое имя. После `spark.stop()` новый контекст получает новое имя;
|
||||
при смене master или общего файла конфигурации перезапусти ядро.
|
||||
`stop()` оставляет переменные Python, перезапуск ядра удаляет их.
|
||||
Оба действия сохраняют таблицы в каталоге и файлы MinIO.
|
||||
|
||||
Параметры обычного нового приложения имеют приоритет: код → параметры
|
||||
`spark-submit` → `spark-defaults.conf`. Настройки запуска driver-а нужно
|
||||
передавать до его старта. Вне стенда также потребуются зависимости и конфигурация
|
||||
Iceberg/S3A/JDBC из [`spark/Dockerfile`](../spark/Dockerfile) и общего файла.
|
||||
Подробности: [конфигурация Spark 3.5.1](https://github.com/apache/spark/blob/v3.5.1/docs/configuration.md)
|
||||
и [поведение SparkSession в этой версии](https://github.com/apache/spark/blob/v3.5.1/python/pyspark/sql/session.py).
|
||||
Фактический master и имя приложения доступны через `spark.sparkContext.master`
|
||||
и `.appName`. Текущие SQL-настройки можно прочитать через `spark.conf.get(...)`.
|
||||
В Spark 3.5.1 `spark.sql.session.timeZone` меняется через `spark.conf.set(...)`
|
||||
без остановки сессии. Для нового имени приложения нужен новый SparkContext.
|
||||
|
||||
Пример запуска smoke-скрипта:
|
||||
|
||||
|
||||
Reference in new issue
Block a user