fix(stg): переведён boarding_passes на инкрементальную загрузку
- Зачем:
- full snapshot boarding_passes при повторных запусках создавал orphan-записи
без соответствующих tickets/segments (инкрементальных), DQ корректно падал.
- Что:
- boarding_passes_load.sql: HWM через book_date (JOIN tickets_ext → bookings_ext),
аналогично segments_load.sql.
- boarding_passes_dq.sql: подсчёт источника с фильтром по окну инкремента,
обработка пустого окна (NOTICE + RETURN).
- обновлена документация (4 файла): db_schema, bookings_to_gp_stage,
bookings_ods_design, inline-комментарий в DAG.
- Проверка:
- make test (4 passed), статический ревью Codex CLI (0 замечаний по SQL).
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
This commit is contained in:
@@ -162,7 +162,7 @@ with DAG(
|
||||
sql="stg/seats_dq.sql",
|
||||
)
|
||||
|
||||
# Загрузка транзакций (инкремент/full snapshot)
|
||||
# Загрузка транзакций (инкремент)
|
||||
load_flights_to_stg = PostgresOperator(
|
||||
task_id="load_flights_to_stg",
|
||||
postgres_conn_id=GREENPLUM_CONN_ID,
|
||||
|
||||
Reference in New Issue
Block a user