ddadmin
a8cce6cd6b
refactor(dm): исправление архитектуры витрины sales_report
- Зачем:
- исходная реализация содержала критические ошибки MPP (Load/Processing Skew) и Full Scan.
- требуется демонстрация студентам эталонного инкрементального UPSERT.
- Что:
- изменен ключ дистрибуции с flight_date на (departure_airport_sk, arrival_airport_sk).
- внедрен каноничный UPSERT через TEMP TABLE (агрегация выполняется один раз).
- добавлен инкрементальный фильтр по {{ ds }} для предотвращения Full Scan dds.fact_flight_sales.
- проверки DQ переведены в инкрементальный режим (валидация только текущего батча).
- Проверка:
- airflow dags test bookings_to_gp_dm 2026-02-28.
2026-02-28 23:56:31 +03:00
..
2025-12-10 18:41:00 +03:00
2026-02-28 22:13:11 +03:00
2026-02-28 23:56:31 +03:00
2026-02-28 22:13:11 +03:00
2026-02-28 22:00:27 +03:00
2026-02-28 22:12:22 +03:00
2026-02-28 22:13:11 +03:00