fix(stg): переведён boarding_passes на инкрементальную загрузку
- Зачем:
- full snapshot boarding_passes при повторных запусках создавал orphan-записи
без соответствующих tickets/segments (инкрементальных), DQ корректно падал.
- Что:
- boarding_passes_load.sql: HWM через book_date (JOIN tickets_ext → bookings_ext),
аналогично segments_load.sql.
- boarding_passes_dq.sql: подсчёт источника с фильтром по окну инкремента,
обработка пустого окна (NOTICE + RETURN).
- обновлена документация (4 файла): db_schema, bookings_to_gp_stage,
bookings_ods_design, inline-комментарий в DAG.
- Проверка:
- make test (4 passed), статический ревью Codex CLI (0 замечаний по SQL).
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
This commit is contained in:
@@ -1,23 +1,48 @@
|
||||
-- Проверки качества данных для boarding_passes
|
||||
-- Проверки качества данных для boarding_passes (инкрементальная загрузка).
|
||||
|
||||
DO $$
|
||||
DECLARE
|
||||
v_batch_id TEXT := '{{ run_id }}'::text;
|
||||
v_src_count BIGINT;
|
||||
v_stg_count BIGINT;
|
||||
v_dup_count BIGINT;
|
||||
v_null_count BIGINT;
|
||||
v_orphan_ticket_count BIGINT;
|
||||
v_batch_id TEXT := '{{ run_id }}'::text;
|
||||
v_prev_ts TIMESTAMP;
|
||||
v_src_count BIGINT;
|
||||
v_stg_count BIGINT;
|
||||
v_dup_count BIGINT;
|
||||
v_null_count BIGINT;
|
||||
v_orphan_ticket_count BIGINT;
|
||||
v_orphan_segment_count BIGINT;
|
||||
BEGIN
|
||||
-- Источник: считаем все строки во внешней таблице
|
||||
-- Опорная метка: максимум event_ts среди предыдущих батчей
|
||||
SELECT MAX(event_ts)
|
||||
INTO v_prev_ts
|
||||
FROM stg.boarding_passes
|
||||
WHERE _load_id <> v_batch_id
|
||||
OR _load_id IS NULL;
|
||||
|
||||
-- Количество в источнике (boarding_passes в том же окне инкремента, что и загрузка)
|
||||
SELECT COUNT(*)
|
||||
INTO v_src_count
|
||||
FROM stg.boarding_passes_ext;
|
||||
FROM stg.boarding_passes_ext AS ext
|
||||
JOIN stg.tickets_ext AS t ON ext.ticket_no = t.ticket_no
|
||||
JOIN stg.bookings_ext AS b ON t.book_ref = b.book_ref
|
||||
WHERE b.book_date > COALESCE(v_prev_ts, TIMESTAMP '1900-01-01 00:00:00');
|
||||
|
||||
IF v_src_count = 0 THEN
|
||||
-- Пустое окно инкремента допустимо: новых данных может не быть.
|
||||
SELECT COUNT(*)
|
||||
INTO v_stg_count
|
||||
FROM stg.boarding_passes
|
||||
WHERE _load_id = v_batch_id;
|
||||
|
||||
IF v_stg_count <> 0 THEN
|
||||
RAISE EXCEPTION
|
||||
'DQ FAILED: источник boarding_passes_ext за окно инкремента пустой, но в stg.boarding_passes есть строки текущего _load_id (_load_id=%): %',
|
||||
v_batch_id,
|
||||
v_stg_count;
|
||||
END IF;
|
||||
|
||||
RAISE NOTICE
|
||||
'В источнике boarding_passes_ext нет строк - пропускаем DQ проверки (_load_id=%).',
|
||||
'В источнике boarding_passes_ext нет строк для окна инкремента (book_date > %). Пропускаем DQ проверки (_load_id=%).',
|
||||
COALESCE(v_prev_ts, TIMESTAMP '1900-01-01 00:00:00'),
|
||||
v_batch_id;
|
||||
RETURN;
|
||||
END IF;
|
||||
@@ -30,13 +55,13 @@ BEGIN
|
||||
|
||||
IF v_src_count <> v_stg_count THEN
|
||||
RAISE EXCEPTION
|
||||
'DQ FAILED: несовпадение количества строк. Источник: %, STG: %',
|
||||
'DQ FAILED: несовпадение количества строк. Источник (окно инкремента): %, STG (_load_id=%): %',
|
||||
v_src_count,
|
||||
v_batch_id,
|
||||
v_stg_count;
|
||||
END IF;
|
||||
|
||||
-- Проверка на дубликаты (ticket_no, flight_id)
|
||||
-- Используем md5 от ROW, чтобы избежать коллизий при склейке строк.
|
||||
-- Проверка на дубликаты (ticket_no, flight_id) в текущем батче
|
||||
SELECT COUNT(*) - COUNT(DISTINCT md5(ROW(ticket_no, flight_id)::text))
|
||||
INTO v_dup_count
|
||||
FROM stg.boarding_passes AS bp
|
||||
|
||||
Reference in New Issue
Block a user