Set an explicit expiration cutoff because retain_last alone preserves fresh snapshots under the default five-day age threshold. Add result checks, distinguish time travel from rollback, and explain schema metadata versions.
Validated changed cells with Spark 3.5.1 and Iceberg 1.10.0 in an isolated container: 10 to 2 snapshots, 1300 rows preserved, expired time travel rejected, repeat execution in UTC and America/New_York. Notebook validation, Python syntax, local links and diff checks pass.
- Зачем: модули 2–8 в новом процессе выбирали local[*] вместо Spark-кластера.
- Что: master перенесён в общий spark-defaults.conf, smoke требует точный адрес кластера, документация и планы синхронизированы.
- Проверка: фактическая инициализация всех восьми ноутбуков, повторный getOrCreate, распределённые вычисления, Iceberg/MinIO write-read-cleanup и docker compose config прошли.
- Зачем: объяснения CREATE OR REPLACE и rollback расходились с поведением Iceberg 1.10.0 и ломали повторный запуск упражнений.
- Что: исправлены материалы и планы модулей 2, 4, 5, 7 и 8; одноразовые таблицы сбрасываются через DROP TABLE PURGE.
- Проверка: JSON и Python AST валидны; на Spark 3.5.1, Iceberg 1.10.0, JDBC/MinIO и Trino 478 подтверждены rollback, replace, time travel и повторный сброс до одного snapshot-а.
- Зачем:
- обучение студентов базовому обслуживанию Iceberg-таблиц (compaction, expire_snapshots) и закрепление навыков всего курса.
- Что:
- создан notebooks/08_maintenance_and_final_lab.ipynb с обзором проблемы мелких файлов и её решения.
- добавлена финальная сквозная практика (raw -> bronze -> silver -> Trino -> schema evolution -> обслуживание) в namespace lakehouse.final.
- в финальную практику включены педагогические подсказки и конкретные задания (trip_duration_minutes).
- статус модуля 8 в планах обновлен до Ready for validation.
- Проверка:
- ручная проверка выполнения ячеек в ноутбуке и синтаксиса stored procedures Iceberg.
- Зачем:
- обучение студентов безопасным изменениям таблиц и механизмам отката Iceberg.
- Что:
- создан notebooks/07_safe_table_changes.ipynb с демонстрацией ALTER TABLE, VERSION AS OF и rollback.
- в ноутбук добавлена самостоятельная работа на демо-таблице и чекпоинт для самопроверки.
- статус модуля 7 в планах обновлен до Ready for validation.
- Проверка:
- ручная верификация структуры ноутбука и синтаксиса Spark SQL/trino_query.
- Зачем:
- продемонстрировать возможность доступа нескольких движков к одной Iceberg-таблице через общий каталог.
- Что:
- создан notebooks/06_spark_and_trino_on_same_table.ipynb с примерами write (Spark) -> read (Trino).
- в jupyter/Dockerfile добавлен клиент trino.
- в START_HERE.md и docs/stack_reference.md добавлена инструкция по подключению DBeaver к Trino.
- статус модуля 6 в планах обновлен до Ready for validation.
- Проверка:
- ручная проверка выполнения ячеек в ноутбуке (Python trino client).
- проверка наличия всех инструкций в документации.
- Зачем:
- демо-ячейки последующих модулей не должны зависеть от домашних заданий предыдущих — модуль 5 использует lookup в демо-коде для JOIN.
- Что:
- модуль 4: секция 8 из домашки (5 пустых ячеек) превращена в демо с заполненным кодом (чтение CSV, CTAS).
- модуль 4: новая домашка (секция 9) — осмотр metadata lookup-таблицы, сравнение с основной.
- модуль 4: секции перенумерованы (9→10, 10→11), завершение упоминает обе bronze-таблицы.
- модуль 5: assert-сообщение для lookup обновлено (убрана ссылка на «самостоятельное задание»).
- планы модулей 4 и 5: обновлены дизайн-решения, структура секций и раздел рисков.
- Проверка:
- прогнать готовые ячейки модуля 4 → lookup-таблица создаётся автоматически → модуль 5 проходит без ошибок.
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
- Зачем:
- обучение переходу от bronze-таблицы к очищенному и обогащенному silver-слою.
- Что:
- создан notebooks/05_silver_layer.ipynb с пайплайном фильтрации, нормализации и JOIN.
- в ноутбук добавлены проверки качества на уровнях строк, схемы и агрегатов.
- статус модуля 5 в планах обновлен до Ready for validation.
- Проверка:
- ручная проверка структуры ноутбука и корректности Spark-трансформаций.
- Зачем:
- нужен практический модуль 4, который переводит студента от raw-файлов к первой управляемой Iceberg-таблице.
- Что:
- добавлен ноутбук notebooks/04_bronze_with_iceberg.ipynb с CTAS в bronze, разбором metadata tables и структурой хранения в MinIO.
- добавлены пояснения про namespace, сравнение raw vs Iceberg и разбор snapshot-полей по итогам ревью.
- обновлен plans/README.md строкой для модуля 4.
- Проверка:
- синтаксис всех code-ячеек ноутбука проверен локальной компиляцией.
- тесты пройдены пользователем.
- Зачем:
- нужен следующий практический шаг после модулей 1-2: доставить raw-данные в MinIO и впервые прочитать их через Spark.
- Что:
- добавлен ноутбук модуля 3 с raw ingest, first read, проверкой схемы, null-анализом и поиском аномалий.
- обновлены START_HERE, stack reference и docker-compose для data bundle в ./data и mount в /opt/data.
- добавлены правила игнорирования data bundle, .gitkeep для пустой директории и обновлён статус плана модуля.
- Проверка:
- docker compose config.
- выполнение notebooks/03_raw_ingest_and_first_read.ipynb на локальном data bundle.
- Зачем:
- необходимо дать студенту практический инструмент для понимания разделения storage, catalog и compute.
- Что:
- создан notebooks/02_lakehouse_mental_model.ipynb с демонстрацией записи в Spark и инспекцией в PostgreSQL и MinIO.
- в ноутбук добавлена таблица сравнения Lakehouse vs классические СУБД.
- реализованы механизмы идемпотентности (CREATE OR REPLACE TABLE) и автоматической очистки ресурсов.
- обновлен статус Модуля 2 в планах на "Ready for validation".
- Проверка:
- проверена структура JSON ноутбука, наличие всех демонстрационных и самостоятельных ячеек, а также корректность путей к MinIO (prefix warehouse/).
- Зачем:
- нужен воспроизводимый вход в курс и единое место хранения планов по модулям.
- Что:
- добавлены `plans/README.md`, living plan Модуля 1, `START_HERE.md` и канонический ноутбук `01_environment_and_smoke_test.ipynb`, а `cluster_smoke.py` расширен до reusable helper и CLI smoke test.
- уточнены onboarding-материалы и окружение: добавлены Spark UI в `README.md`, ресурсы хоста и креды MinIO в `START_HERE.md`, использован `NB_GID` в `jupyter/Dockerfile`, в ноутбуке усилены самостоятельные задания и добавлены `cell id`, а пояснения в `cluster_smoke.py` переведены на русский для студентов.
- обновлены `README.md`, `AGENTS.md` и archive howto, удалены устаревшие `spark-basic-test.ipynb` и `03_partitioning_and_schema_evolution.ipynb`.
- Проверка:
- `python3 -m py_compile src/spark/cluster_smoke.py src/spark/__init__.py`.
- `docker compose build spark-master` и `docker compose build jupyter`.
- `docker compose up -d`, `docker compose exec jupyter python3 -c "from spark.cluster_smoke import create_spark_session, run_cluster_smoke; spark=create_spark_session(app_name='module-01-validation'); print(run_cluster_smoke(spark)); spark.stop()"` и `docker compose exec jupyter jupyter nbconvert --to notebook --execute /opt/work/01_environment_and_smoke_test.ipynb --output-dir /tmp --output module1-validation-2.ipynb`.
ddadmin
