- Зачем:
- демо-ячейки последующих модулей не должны зависеть от домашних заданий предыдущих — модуль 5 использует lookup в демо-коде для JOIN.
- Что:
- модуль 4: секция 8 из домашки (5 пустых ячеек) превращена в демо с заполненным кодом (чтение CSV, CTAS).
- модуль 4: новая домашка (секция 9) — осмотр metadata lookup-таблицы, сравнение с основной.
- модуль 4: секции перенумерованы (9→10, 10→11), завершение упоминает обе bronze-таблицы.
- модуль 5: assert-сообщение для lookup обновлено (убрана ссылка на «самостоятельное задание»).
- планы модулей 4 и 5: обновлены дизайн-решения, структура секций и раздел рисков.
- Проверка:
- прогнать готовые ячейки модуля 4 → lookup-таблица создаётся автоматически → модуль 5 проходит без ошибок.
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
- Зачем:
- обучение переходу от bronze-таблицы к очищенному и обогащенному silver-слою.
- Что:
- создан notebooks/05_silver_layer.ipynb с пайплайном фильтрации, нормализации и JOIN.
- в ноутбук добавлены проверки качества на уровнях строк, схемы и агрегатов.
- статус модуля 5 в планах обновлен до Ready for validation.
- Проверка:
- ручная проверка структуры ноутбука и корректности Spark-трансформаций.
- Зачем:
- необходимо расширить курс до silver-слоя с воспроизводимыми трансформациями.
- Что:
- создан файл plans/module-05-silver-layer.md с планом модуля.
- обновлен plans/README.md с записью о новом модуле в таблицу содержания.
- Проверка:
- проверка согласованности ссылок и структуры документации.
ddadminandClaude Opus 4.6