fix(stg): переведён boarding_passes на инкрементальную загрузку

- Зачем:
  - full snapshot boarding_passes при повторных запусках создавал orphan-записи
    без соответствующих tickets/segments (инкрементальных), DQ корректно падал.
- Что:
  - boarding_passes_load.sql: HWM через book_date (JOIN tickets_ext → bookings_ext),
    аналогично segments_load.sql.
  - boarding_passes_dq.sql: подсчёт источника с фильтром по окну инкремента,
    обработка пустого окна (NOTICE + RETURN).
  - обновлена документация (4 файла): db_schema, bookings_to_gp_stage,
    bookings_ods_design, inline-комментарий в DAG.
- Проверка:
  - make test (4 passed), статический ревью Codex CLI (0 замечаний по SQL).

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
This commit is contained in:
2026-03-12 13:11:40 +03:00
co-authored by Claude Opus 4.6
parent d6e5cd56c6
commit 7b6136b0fa
6 changed files with 66 additions and 25 deletions
+23 -7
View File
@@ -1,7 +1,20 @@
-- Загрузка всех строк из stg.boarding_passes_ext в stg.boarding_passes.
-- Используем full snapshot: все строки при каждом запуске.
-- Используем _load_id для отслеживания загрузки.
-- Загрузка инкремента из stg.boarding_passes_ext в stg.boarding_passes.
-- Инкремент определяется по дате бронирования (book_date из bookings.bookings)
-- через JOIN с таблицами tickets и bookings (аналогично segments_load.sql).
--
-- Учебный комментарий: boarding_passes привязаны к билетам, а билеты — к бронированиям.
-- Чтобы инкремент boarding_passes совпадал с инкрементом tickets и segments,
-- используем ту же точку отсечения — book_date бронирования. Иначе при повторных
-- запусках full snapshot загрузит все boarding_passes, а tickets/segments — только
-- новые, и DQ обнаружит «сиротские» boarding_passes без соответствующих tickets.
-- CTE для определения максимальной даты загрузки предыдущего батча
WITH max_batch_ts AS (
SELECT COALESCE(MAX(event_ts), TIMESTAMP '1900-01-01 00:00:00') AS max_ts
FROM stg.boarding_passes
WHERE _load_id <> '{{ run_id }}'::text
OR _load_id IS NULL
)
INSERT INTO stg.boarding_passes (
ticket_no,
flight_id,
@@ -18,12 +31,16 @@ SELECT
ext.seat_no,
ext.boarding_no::text,
ext.boarding_time::text,
now()::timestamp,
b.book_date::timestamp, -- временная метка из бронирования
now(),
'{{ run_id }}'::text
FROM stg.boarding_passes_ext AS ext
WHERE NOT EXISTS (
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего _load_id.
JOIN stg.tickets_ext AS t ON ext.ticket_no = t.ticket_no
JOIN stg.bookings_ext AS b ON t.book_ref = b.book_ref
CROSS JOIN max_batch_ts AS mb
WHERE b.book_date > mb.max_ts
AND NOT EXISTS (
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки.
-- Считаем ключом строки (ticket_no, flight_id).
SELECT 1
FROM stg.boarding_passes AS bp
@@ -33,5 +50,4 @@ WHERE NOT EXISTS (
);
-- Обновляем статистику для оптимизатора Greenplum
-- Это критично для корректной работы оптимизатора и выбора оптимального плана выполнения
ANALYZE stg.boarding_passes;