ddadmin
4ce0aa7a23
- Зачем:
- документация трёх DAG-ов была значительно беднее эталона (bookings_to_gp_stage.md):
отсутствовал пошаговый разбор задач, SQL-пути и ASCII-графы зависимостей.
- Что:
- добавлены секции "Как это работает внутри" с таблицами task_id → SQL-файл → паттерн.
- добавлены ASCII-графы зависимостей в ODS и DDS (в DM уже был).
- исправлено описание паттернов ODS: явно разделены TRUNCATE+INSERT для AO snapshot-справочников и SCD1 UPSERT для транзакционных таблиц.
- исправлено описание fact_flight_sales: убрана неточная отсылка к late-arriving dimensions, добавлено объяснение defensive LEFT JOIN и точных DQ-правил (0% / 1%).
- добавлена таблица grain и описание стратегий загрузки для каждой DM-витрины.
- план улучшений перенесён в docs/archive/.
- Проверка:
- визуально: открыть каждый docs/bookings_to_gp_*.md и убедиться, что секции присутствуют.
Документация
Этот каталог содержит дополнительные материалы к учебному стенду.
Быстрый путь (для менти)
- Быстрый старт и команды
- Учебные задания
- План тестирования и проверки
- Главный учебный DAG: bookings → stg
- Учебный DAG: stg -> ods
- Учебный DAG: ods -> dds
- Учебный DAG: dds -> dm
Дизайн (design/)
- Единые конвенции нейминга DWH (служебные поля и SCD)
- Схема БД всех слоёв DWH
- Дизайн-документ STG
- Дизайн-документ ODS
- Дизайн-документ DDS
- Дизайн-документ DM
- Архитектурные решения (ADR)
- PRD: стратегия курсовой
- Дизайн задания
Справочники (reference/)
- Как устроен Docker-стенд (образы, Connections, переменные окружения)
- PXF в этом проекте (проектная реализация)
- Про время/UTC в bookings
- Известные проблемы bookings-db
- Бенчмарк генерации данных
- QA-план отладки пайплайна
- Порядок запуска DAG-ов
- End-to-end протокол тестирования
- Тестирование DAG-ов через API
Планы (plans/)
Активные планы работ. После выполнения переносятся в archive/.
Архив (archive/)
Выполненные планы, закрытые ревью. Ссылки внутри файлов могут быть устаревшими.