- Зачем: - закрыты задачи P0 и P1 из ревью архитектуры для повышения понятности стенда для студентов. - Что: - исправлен distribution key для airport_traffic в дизайн-документе. - добавлены комментарии о генерации SK и отсутствии SK в фактах. - создан документ docs/dag_execution_order.md с описанием порядка запуска DAG-ов. - объяснена логика late-arriving dimensions и batch resolver. - добавлена legacy-пометка для хелпера greenplum.py. - Проверка: - визуальная проверка добавленных комментариев и новых файлов.
Документация
Этот каталог содержит дополнительные материалы к учебному стенду.
Быстрый путь (для менти)
- Быстрый старт и команды
- Учебные задания
- План тестирования и проверки
- Главный учебный DAG: bookings → stg
- Учебный DAG: stg -> ods
- Учебный DAG: ods -> dds
Технические детали (опционально)
- Как устроен Docker-стенд (образы, Connections, переменные окружения)
- Единые конвенции нейминга DWH (служебные поля и SCD)
- PXF в этом проекте (проектная реализация)
- Дизайн stg для bookings (черновик)
- Дизайн ods для bookings (черновик)
- Дизайн dds для bookings (черновик)
- Про время/UTC в bookings (черновик)