Files

T

ddadmin b6b87a7a00 fix(ods): исправлена загрузка flights для ссылок из segments

- Зачем:
  - dq_ods_segments падал на непустых батчах из-за orphan flight_id в ods.segments.
- Что:
  - доработан sql/ods/flights_load.sql: добавлено добирание рейсов из истории stg.flights для flight_id из stg.segments текущего batch.
  - добавлен контрактный тест в tests/test_ods_sql_contract.py на покрытие flight_id из segments.
  - обновлена документация DAG в docs/bookings_to_gp_ods.md.
- Проверка:
  - make test.
  - airflow dags trigger bookings_to_gp_ods -c '{"stg_batch_id":"manual__2026-01-18T18:47:18.316091+00:00"}'.

2026-02-28 22:13:11 +03:00

4.0 KiB

Raw Blame History

DAG `bookings_to_gp_ods`: `stg` -> `ods` в Greenplum

Этот DAG — учебный пример загрузки типизированного слоя ODS из уже подготовленного слоя STG. Логика простая и каноничная: SCD1 UPSERT (обновляем изменившиеся записи, вставляем новые) + DQ-проверки.

Что делает DAG

Определяет stg_batch_id:
- берёт из dag_run.conf["stg_batch_id"], если передан;
- иначе берёт последний согласованный batch_id, который есть во всех snapshot-таблицах STG (airports, airplanes, routes, seats).
Загружает 9 таблиц ODS (airports, airplanes, routes, seats, bookings, tickets, flights, segments, boarding_passes).
Для каждой таблицы выполняет пару задач load -> dq.
На загрузке использует дедупликацию внутри батча + UPSERT (SCD1).
Для snapshot-справочников (airports, airplanes, routes, seats) дополнительно синхронизирует ключи (удаляет из ODS записи, отсутствующие в выбранном STG-батче).
Для flights дополнительно добирает рейсы из истории stg.flights, если на них ссылаются stg.segments выбранного батча (чтобы сохранить ссылочную целостность segments.flight_id -> flights.flight_id).

Что должно быть готово перед запуском

Стек поднят:

make up

STG-слой создан и заполнен:

запущен bookings_stg_ddl (или make ddl-gp);
хотя бы один раз выполнен DAG bookings_to_gp_stage.

ODS-таблицы созданы (один из вариантов):

учебный: запустить DAG bookings_ods_ddl;
шорткат: make ddl-gp (в этом проекте он создаёт и STG, и ODS).

Как запустить

Откройте Airflow UI: http://localhost:8080.
Запустите DAG bookings_to_gp_ods.
(Опционально) передайте stg_batch_id в конфиге запуска:

{"stg_batch_id": "manual__2026-02-22T12:00:00+00:00"}

Если конфиг не передан, DAG автоматически возьмёт последний согласованный snapshot-батч.

Граф зависимостей (упрощённо)

resolve_stg_batch_id
Параллельно стартуют ветки:
- bookings -> tickets
- airports
- airplanes
Далее:
- routes после airports и airplanes
- seats после airplanes
- flights после routes
- segments после flights и tickets
- boarding_passes после segments
Финал: finish_ods_summary ждёт dq_ods_boarding_passes и dq_ods_seats.

Как проверить результат

make gp-psql

SELECT COUNT(*) FROM ods.bookings;
SELECT COUNT(*) FROM ods.tickets;
SELECT COUNT(*) FROM ods.flights;

SELECT book_ref, COUNT(*)
FROM ods.bookings
GROUP BY 1
HAVING COUNT(*) > 1;

Ожидаемо: в последнем запросе 0 строк.

Типичные ошибки

stg_batch_id не найден:
- передайте stg_batch_id в dag_run.conf, или
- сначала загрузите STG через bookings_to_gp_stage.
Ошибки relation "ods...." does not exist:
- не применён ODS DDL (bookings_ods_ddl / make ddl-gp).
Ошибки DQ по ссылочной целостности:
- проверьте, что ODS DAG выполнялся с корректным stg_batch_id и без пропуска upstream задач.

4.0 KiB Raw Blame History

DAG bookings_to_gp_ods: stg -> ods в Greenplum