ddmitry/airflow-greenplum
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

refactor(all): унифицированы служебные поля STG — переход на канонический нейминг

Browse Source 
- Зачем:
  - STG-слой использовал legacy-имена (batch_id, load_dttm, src_created_at_ts),
    тогда как ODS/DDS/DM уже работали с каноном (_load_id, _load_ts, event_ts).
    Студент видел разные имена для одного понятия — это убрано.
- Что:
  - переименованы колонки в 9 STG DDL: batch_id→_load_id, load_dttm→_load_ts,
    src_created_at_ts→event_ts; добавлен NOT NULL для _load_id во всех таблицах.
  - обновлены 9 STG Load, 9 STG DQ, 9 ODS Load, 9 ODS DQ (INSERT/SELECT/WHERE).
  - обновлены DAG-файлы bookings_to_gp_stage.py и bookings_to_gp_ods.py
    (встроенный SQL резолвера, комментарии; Python-идентификаторы не тронуты).
  - обновлены тесты и ~15 документов (naming_conventions, PRD, db_schema,
    design-docs, qa-plan, README, TESTING и др.).
- Проверка:
  - grep -rn 'load_dttm\|src_created_at_ts' sql/ airflow/ tests/ — 0 совпадений.
  - make test — 4 passed.
  - e2e-etl: day1 прошёл полностью, day2 стартовал без ошибок.
This commit is contained in:
ddadmin
2026-03-10 00:07:08 +03:00
parent 3de4db8aa6
commit 5972bcc2d8
64 changed files with 582 additions and 484 deletions
Download Patch File Download Diff File Expand all files Collapse all files
sql/ods/airplanes_dq.sql
+7 -7
View File
@@ -13,11 +13,11 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_batch_count
FROM stg.airplanes
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_stg_batch_count = 0 THEN
RAISE EXCEPTION
'DQ FAILED: batch_id=% для stg.airplanes пустой. Проверьте загрузку STG и PXF.',
'DQ FAILED: _load_id=% для stg.airplanes пустой. Проверьте загрузку STG и PXF.',
v_batch_id;
END IF;
@@ -38,7 +38,7 @@ BEGIN
FROM (
SELECT DISTINCT airplane_code
FROM stg.airplanes
WHERE batch_id = v_batch_id
WHERE _load_id = v_batch_id
) AS s
WHERE NOT EXISTS (
SELECT 1
@@ -48,7 +48,7 @@ BEGIN
IF v_missing_keys_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: в ods.airplanes отсутствуют ключи из stg.airplanes (batch_id=%): %',
'DQ FAILED: в ods.airplanes отсутствуют ключи из stg.airplanes (_load_id=%): %',
v_batch_id,
v_missing_keys_count;
END IF;
@@ -62,14 +62,14 @@ BEGIN
FROM (
SELECT DISTINCT airplane_code
FROM stg.airplanes
WHERE batch_id = v_batch_id
WHERE _load_id = v_batch_id
) AS s
WHERE s.airplane_code = o.airplane_code
);
IF v_extra_keys_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: в ods.airplanes найдены лишние ключи вне stg batch_id=%: %',
'DQ FAILED: в ods.airplanes найдены лишние ключи вне stg _load_id=%: %',
v_batch_id,
v_extra_keys_count;
END IF;
@@ -93,7 +93,7 @@ BEGIN
END IF;
RAISE NOTICE
'DQ PASSED: ods.airplanes ок (batch_id=%): stg_batch_rows=%',
'DQ PASSED: ods.airplanes ок (_load_id=%): stg_batch_rows=%',
v_batch_id,
v_stg_batch_count;
END $$;
sql/ods/airplanes_load.sql
+2 -2
View File
@@ -21,10 +21,10 @@ WITH src AS (
NULLIF(s.speed, '')::INTEGER AS speed_kmh,
ROW_NUMBER() OVER (
PARTITION BY s.airplane_code
ORDER BY s.load_dttm DESC, s.src_created_at_ts DESC NULLS LAST
ORDER BY s._load_ts DESC, s.event_ts DESC NULLS LAST
) AS rn
FROM stg.airplanes AS s
WHERE s.batch_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
WHERE s._load_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
)
SELECT
s.airplane_code,
sql/ods/airports_dq.sql
+7 -7
View File
@@ -13,11 +13,11 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_batch_count
FROM stg.airports
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_stg_batch_count = 0 THEN
RAISE EXCEPTION
'DQ FAILED: batch_id=% для stg.airports пустой. Проверьте загрузку STG и PXF.',
'DQ FAILED: _load_id=% для stg.airports пустой. Проверьте загрузку STG и PXF.',
v_batch_id;
END IF;
@@ -38,7 +38,7 @@ BEGIN
FROM (
SELECT DISTINCT airport_code
FROM stg.airports
WHERE batch_id = v_batch_id
WHERE _load_id = v_batch_id
) AS s
WHERE NOT EXISTS (
SELECT 1
@@ -48,7 +48,7 @@ BEGIN
IF v_missing_keys_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: в ods.airports отсутствуют ключи из stg.airports (batch_id=%): %',
'DQ FAILED: в ods.airports отсутствуют ключи из stg.airports (_load_id=%): %',
v_batch_id,
v_missing_keys_count;
END IF;
@@ -62,14 +62,14 @@ BEGIN
FROM (
SELECT DISTINCT airport_code
FROM stg.airports
WHERE batch_id = v_batch_id
WHERE _load_id = v_batch_id
) AS s
WHERE s.airport_code = o.airport_code
);
IF v_extra_keys_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: в ods.airports найдены лишние ключи вне stg batch_id=%: %',
'DQ FAILED: в ods.airports найдены лишние ключи вне stg _load_id=%: %',
v_batch_id,
v_extra_keys_count;
END IF;
@@ -99,7 +99,7 @@ BEGIN
END IF;
RAISE NOTICE
'DQ PASSED: ods.airports ок (batch_id=%): stg_batch_rows=%',
'DQ PASSED: ods.airports ок (_load_id=%): stg_batch_rows=%',
v_batch_id,
v_stg_batch_count;
END $$;
sql/ods/airports_load.sql
+2 -2
View File
@@ -25,10 +25,10 @@ WITH src AS (
s.timezone,
ROW_NUMBER() OVER (
PARTITION BY s.airport_code
ORDER BY s.load_dttm DESC, s.src_created_at_ts DESC NULLS LAST
ORDER BY s._load_ts DESC, s.event_ts DESC NULLS LAST
) AS rn
FROM stg.airports AS s
WHERE s.batch_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
WHERE s._load_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
)
SELECT
s.airport_code,
sql/ods/boarding_passes_dq.sql
+4 -4
View File
@@ -13,7 +13,7 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_batch_count
FROM stg.boarding_passes
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
-- В ODS не должно быть дублей по составному бизнес-ключу.
SELECT COUNT(*)
@@ -37,7 +37,7 @@ BEGIN
FROM (
SELECT DISTINCT ticket_no, NULLIF(flight_id, '')::INTEGER AS flight_id
FROM stg.boarding_passes
WHERE batch_id = v_batch_id
WHERE _load_id = v_batch_id
) AS s
WHERE NOT EXISTS (
SELECT 1
@@ -48,7 +48,7 @@ BEGIN
IF v_missing_keys_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: в ods.boarding_passes отсутствуют ключи из stg.boarding_passes (batch_id=%): %',
'DQ FAILED: в ods.boarding_passes отсутствуют ключи из stg.boarding_passes (_load_id=%): %',
v_batch_id,
v_missing_keys_count;
END IF;
@@ -90,7 +90,7 @@ BEGIN
END IF;
RAISE NOTICE
'DQ PASSED: ods.boarding_passes ок (batch_id=%): stg_batch_rows=%',
'DQ PASSED: ods.boarding_passes ок (_load_id=%): stg_batch_rows=%',
v_batch_id,
v_stg_batch_count;
END $$;
sql/ods/boarding_passes_load.sql
+9 -9
View File
@@ -10,16 +10,16 @@ WITH src AS (
s.seat_no,
NULLIF(s.boarding_no, '')::INTEGER AS boarding_no,
NULLIF(s.boarding_time, '')::TIMESTAMP WITH TIME ZONE AS boarding_time,
s.src_created_at_ts AS event_ts,
s.batch_id,
s.load_dttm,
s.event_ts,
s._load_id,
s._load_ts,
ROW_NUMBER() OVER (
PARTITION BY s.ticket_no, s.flight_id
ORDER BY s.src_created_at_ts DESC NULLS LAST, s.load_dttm DESC
ORDER BY s.event_ts DESC NULLS LAST, s._load_ts DESC
) AS rn
FROM stg.boarding_passes AS s
-- Используем HWM (High Water Mark) по техническому времени STG
WHERE s.load_dttm > (SELECT COALESCE(MAX(_load_ts), '1900-01-01 00:00:00'::TIMESTAMP) FROM ods.boarding_passes)
WHERE s._load_ts > (SELECT COALESCE(MAX(_load_ts), '1900-01-01 00:00:00'::TIMESTAMP) FROM ods.boarding_passes)
)
SELECT * FROM src WHERE rn = 1;
@@ -29,8 +29,8 @@ SET seat_no = s.seat_no,
boarding_no = s.boarding_no,
boarding_time = s.boarding_time,
event_ts = s.event_ts,
_load_id = s.batch_id, -- Сохраняем оригинальный lineage из STG
_load_ts = s.load_dttm -- Фиксируем время STG как водяной знак для ODS
_load_id = s._load_id, -- Сохраняем оригинальный lineage из STG
_load_ts = s._load_ts -- Фиксируем время STG как водяной знак для ODS
FROM tmp_boarding_passes_delta AS s
WHERE o.ticket_no = s.ticket_no
AND o.flight_id = s.flight_id
@@ -59,8 +59,8 @@ SELECT
s.boarding_no,
s.boarding_time,
s.event_ts,
s.batch_id,
s.load_dttm
s._load_id,
s._load_ts
FROM tmp_boarding_passes_delta AS s
WHERE NOT EXISTS (
SELECT 1
sql/ods/bookings_dq.sql
+4 -4
View File
@@ -12,7 +12,7 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_batch_count
FROM stg.bookings
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
-- В ODS не должно быть дублей по бизнес-ключу.
SELECT COUNT(*) - COUNT(DISTINCT book_ref)
@@ -31,7 +31,7 @@ BEGIN
FROM (
SELECT DISTINCT book_ref
FROM stg.bookings
WHERE batch_id = v_batch_id
WHERE _load_id = v_batch_id
) AS s
WHERE NOT EXISTS (
SELECT 1
@@ -41,7 +41,7 @@ BEGIN
IF v_missing_keys_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: в ods.bookings отсутствуют ключи из stg.bookings (batch_id=%): %',
'DQ FAILED: в ods.bookings отсутствуют ключи из stg.bookings (_load_id=%): %',
v_batch_id,
v_missing_keys_count;
END IF;
@@ -65,7 +65,7 @@ BEGIN
END IF;
RAISE NOTICE
'DQ PASSED: ods.bookings ок (batch_id=%): stg_batch_rows=%',
'DQ PASSED: ods.bookings ок (_load_id=%): stg_batch_rows=%',
v_batch_id,
v_stg_batch_count;
END $$;
sql/ods/bookings_load.sql
+9 -9
View File
@@ -8,16 +8,16 @@ WITH src AS (
s.book_ref,
NULLIF(s.book_date, '')::TIMESTAMP WITH TIME ZONE AS book_date,
NULLIF(s.total_amount, '')::NUMERIC(10,2) AS total_amount,
s.src_created_at_ts AS event_ts,
s.batch_id,
s.load_dttm,
s.event_ts,
s._load_id,
s._load_ts,
ROW_NUMBER() OVER (
PARTITION BY s.book_ref
ORDER BY s.src_created_at_ts DESC NULLS LAST, s.load_dttm DESC
ORDER BY s.event_ts DESC NULLS LAST, s._load_ts DESC
) AS rn
FROM stg.bookings AS s
-- Используем HWM (High Water Mark) по техническому времени STG
WHERE s.load_dttm > (SELECT COALESCE(MAX(_load_ts), '1900-01-01 00:00:00'::TIMESTAMP) FROM ods.bookings)
WHERE s._load_ts > (SELECT COALESCE(MAX(_load_ts), '1900-01-01 00:00:00'::TIMESTAMP) FROM ods.bookings)
)
SELECT * FROM src WHERE rn = 1;
@@ -26,8 +26,8 @@ UPDATE ods.bookings AS o
SET book_date = s.book_date,
total_amount = s.total_amount,
event_ts = s.event_ts,
_load_id = s.batch_id, -- Сохраняем оригинальный lineage из STG
_load_ts = s.load_dttm -- Фиксируем время STG как водяной знак для ODS
_load_id = s._load_id, -- Сохраняем оригинальный lineage из STG
_load_ts = s._load_ts -- Фиксируем время STG как водяной знак для ODS
FROM tmp_bookings_delta AS s
WHERE o.book_ref = s.book_ref
AND (
@@ -50,8 +50,8 @@ SELECT
s.book_date,
s.total_amount,
s.event_ts,
s.batch_id,
s.load_dttm
s._load_id,
s._load_ts
FROM tmp_bookings_delta AS s
WHERE NOT EXISTS (
SELECT 1
sql/ods/flights_dq.sql
+4 -4
View File
@@ -13,7 +13,7 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_batch_count
FROM stg.flights
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
-- В ODS не должно быть дублей по бизнес-ключу.
SELECT COUNT(*) - COUNT(DISTINCT flight_id)
@@ -32,7 +32,7 @@ BEGIN
FROM (
SELECT DISTINCT NULLIF(flight_id, '')::INTEGER AS flight_id
FROM stg.flights
WHERE batch_id = v_batch_id
WHERE _load_id = v_batch_id
) AS s
WHERE NOT EXISTS (
SELECT 1
@@ -42,7 +42,7 @@ BEGIN
IF v_missing_keys_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: в ods.flights отсутствуют ключи из stg.flights (batch_id=%): %',
'DQ FAILED: в ods.flights отсутствуют ключи из stg.flights (_load_id=%): %',
v_batch_id,
v_missing_keys_count;
END IF;
@@ -83,7 +83,7 @@ BEGIN
END IF;
RAISE NOTICE
'DQ PASSED: ods.flights ок (batch_id=%): stg_batch_rows=%',
'DQ PASSED: ods.flights ок (_load_id=%): stg_batch_rows=%',
v_batch_id,
v_stg_batch_count;
END $$;
sql/ods/flights_load.sql
+16 -16
View File
@@ -9,7 +9,7 @@ WITH segment_flights AS (
SELECT DISTINCT
NULLIF(s.flight_id, '')::INTEGER AS flight_id
FROM stg.segments AS s
WHERE s.load_dttm > (SELECT COALESCE(MAX(_load_ts), '1900-01-01 00:00:00'::TIMESTAMP) FROM ods.segments)
WHERE s._load_ts > (SELECT COALESCE(MAX(_load_ts), '1900-01-01 00:00:00'::TIMESTAMP) FROM ods.segments)
AND s.flight_id IS NOT NULL
AND s.flight_id <> ''
),
@@ -22,9 +22,9 @@ stg_flights_typed AS (
NULLIF(s.scheduled_arrival, '')::TIMESTAMP WITH TIME ZONE AS scheduled_arrival,
NULLIF(s.actual_departure, '')::TIMESTAMP WITH TIME ZONE AS actual_departure,
NULLIF(s.actual_arrival, '')::TIMESTAMP WITH TIME ZONE AS actual_arrival,
s.src_created_at_ts AS event_ts,
s.load_dttm,
s.batch_id
s.event_ts,
s._load_ts,
s._load_id
FROM stg.flights AS s
WHERE s.flight_id IS NOT NULL
AND s.flight_id <> ''
@@ -40,10 +40,10 @@ src_union AS (
f.actual_departure,
f.actual_arrival,
f.event_ts,
f.load_dttm,
f.batch_id
f._load_ts,
f._load_id
FROM stg_flights_typed AS f
WHERE f.load_dttm > (SELECT COALESCE(MAX(_load_ts), '1900-01-01 00:00:00'::TIMESTAMP) FROM ods.flights)
WHERE f._load_ts > (SELECT COALESCE(MAX(_load_ts), '1900-01-01 00:00:00'::TIMESTAMP) FROM ods.flights)
UNION ALL
@@ -57,8 +57,8 @@ src_union AS (
f.actual_departure,
f.actual_arrival,
f.event_ts,
f.load_dttm,
f.batch_id
f._load_ts,
f._load_id
FROM stg_flights_typed AS f
JOIN segment_flights AS sf
ON sf.flight_id = f.flight_id
@@ -73,11 +73,11 @@ src AS (
u.actual_departure,
u.actual_arrival,
u.event_ts,
u.batch_id,
u.load_dttm,
u._load_id,
u._load_ts,
ROW_NUMBER() OVER (
PARTITION BY u.flight_id
ORDER BY u.event_ts DESC NULLS LAST, u.load_dttm DESC
ORDER BY u.event_ts DESC NULLS LAST, u._load_ts DESC
) AS rn
FROM src_union AS u
)
@@ -92,8 +92,8 @@ SET route_no = s.route_no,
actual_departure = s.actual_departure,
actual_arrival = s.actual_arrival,
event_ts = s.event_ts,
_load_id = s.batch_id, -- Сохраняем оригинальный lineage из STG
_load_ts = s.load_dttm -- Фиксируем время STG как водяной знак для ODS
_load_id = s._load_id, -- Сохраняем оригинальный lineage из STG
_load_ts = s._load_ts -- Фиксируем время STG как водяной знак для ODS
FROM tmp_flights_delta AS s
WHERE o.flight_id = s.flight_id
AND (
@@ -128,8 +128,8 @@ SELECT
s.actual_departure,
s.actual_arrival,
s.event_ts,
s.batch_id,
s.load_dttm
s._load_id,
s._load_ts
FROM tmp_flights_delta AS s
WHERE NOT EXISTS (
SELECT 1
sql/ods/routes_dq.sql
+7 -7
View File
@@ -16,11 +16,11 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_batch_count
FROM stg.routes
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_stg_batch_count = 0 THEN
RAISE EXCEPTION
'DQ FAILED: batch_id=% для stg.routes пустой. Проверьте загрузку STG и PXF.',
'DQ FAILED: _load_id=% для stg.routes пустой. Проверьте загрузку STG и PXF.',
v_batch_id;
END IF;
@@ -46,7 +46,7 @@ BEGIN
FROM (
SELECT DISTINCT route_no, validity
FROM stg.routes
WHERE batch_id = v_batch_id
WHERE _load_id = v_batch_id
) AS s
WHERE NOT EXISTS (
SELECT 1
@@ -57,7 +57,7 @@ BEGIN
IF v_missing_keys_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: в ods.routes отсутствуют ключи из stg.routes (batch_id=%): %',
'DQ FAILED: в ods.routes отсутствуют ключи из stg.routes (_load_id=%): %',
v_batch_id,
v_missing_keys_count;
END IF;
@@ -71,7 +71,7 @@ BEGIN
FROM (
SELECT DISTINCT route_no, validity
FROM stg.routes
WHERE batch_id = v_batch_id
WHERE _load_id = v_batch_id
) AS s
WHERE s.route_no = o.route_no
AND s.validity = o.validity
@@ -79,7 +79,7 @@ BEGIN
IF v_extra_keys_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: в ods.routes найдены лишние ключи вне stg batch_id=%: %',
'DQ FAILED: в ods.routes найдены лишние ключи вне stg _load_id=%: %',
v_batch_id,
v_extra_keys_count;
END IF;
@@ -157,7 +157,7 @@ BEGIN
END IF;
RAISE NOTICE
'DQ PASSED: ods.routes ок (batch_id=%): stg_batch_rows=%',
'DQ PASSED: ods.routes ок (_load_id=%): stg_batch_rows=%',
v_batch_id,
v_stg_batch_count;
END $$;
sql/ods/routes_load.sql
+2 -2
View File
@@ -29,10 +29,10 @@ WITH src AS (
NULLIF(s.duration, '')::INTERVAL AS duration,
ROW_NUMBER() OVER (
PARTITION BY s.route_no, s.validity
ORDER BY s.load_dttm DESC, s.src_created_at_ts DESC NULLS LAST
ORDER BY s._load_ts DESC, s.event_ts DESC NULLS LAST
) AS rn
FROM stg.routes AS s
WHERE s.batch_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
WHERE s._load_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
)
SELECT
s.route_no,
sql/ods/seats_dq.sql
+7 -7
View File
@@ -14,11 +14,11 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_batch_count
FROM stg.seats
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_stg_batch_count = 0 THEN
RAISE EXCEPTION
'DQ FAILED: batch_id=% для stg.seats пустой. Проверьте загрузку STG и PXF.',
'DQ FAILED: _load_id=% для stg.seats пустой. Проверьте загрузку STG и PXF.',
v_batch_id;
END IF;
@@ -44,7 +44,7 @@ BEGIN
FROM (
SELECT DISTINCT airplane_code, seat_no
FROM stg.seats
WHERE batch_id = v_batch_id
WHERE _load_id = v_batch_id
) AS s
WHERE NOT EXISTS (
SELECT 1
@@ -55,7 +55,7 @@ BEGIN
IF v_missing_keys_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: в ods.seats отсутствуют ключи из stg.seats (batch_id=%): %',
'DQ FAILED: в ods.seats отсутствуют ключи из stg.seats (_load_id=%): %',
v_batch_id,
v_missing_keys_count;
END IF;
@@ -69,7 +69,7 @@ BEGIN
FROM (
SELECT DISTINCT airplane_code, seat_no
FROM stg.seats
WHERE batch_id = v_batch_id
WHERE _load_id = v_batch_id
) AS s
WHERE s.airplane_code = o.airplane_code
AND s.seat_no = o.seat_no
@@ -77,7 +77,7 @@ BEGIN
IF v_extra_keys_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: в ods.seats найдены лишние ключи вне stg batch_id=%: %',
'DQ FAILED: в ods.seats найдены лишние ключи вне stg _load_id=%: %',
v_batch_id,
v_extra_keys_count;
END IF;
@@ -119,7 +119,7 @@ BEGIN
END IF;
RAISE NOTICE
'DQ PASSED: ods.seats ок (batch_id=%): stg_batch_rows=%',
'DQ PASSED: ods.seats ок (_load_id=%): stg_batch_rows=%',
v_batch_id,
v_stg_batch_count;
END $$;
sql/ods/seats_load.sql
+2 -2
View File
@@ -19,10 +19,10 @@ WITH src AS (
s.fare_conditions,
ROW_NUMBER() OVER (
PARTITION BY s.airplane_code, s.seat_no
ORDER BY s.load_dttm DESC, s.src_created_at_ts DESC NULLS LAST
ORDER BY s._load_ts DESC, s.event_ts DESC NULLS LAST
) AS rn
FROM stg.seats AS s
WHERE s.batch_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
WHERE s._load_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
)
SELECT
s.airplane_code,
sql/ods/segments_dq.sql
+4 -4
View File
@@ -14,7 +14,7 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_batch_count
FROM stg.segments
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
-- В ODS не должно быть дублей по составному бизнес-ключу.
SELECT COUNT(*)
@@ -38,7 +38,7 @@ BEGIN
FROM (
SELECT DISTINCT ticket_no, NULLIF(flight_id, '')::INTEGER AS flight_id
FROM stg.segments
WHERE batch_id = v_batch_id
WHERE _load_id = v_batch_id
) AS s
WHERE NOT EXISTS (
SELECT 1
@@ -49,7 +49,7 @@ BEGIN
IF v_missing_keys_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: в ods.segments отсутствуют ключи из stg.segments (batch_id=%): %',
'DQ FAILED: в ods.segments отсутствуют ключи из stg.segments (_load_id=%): %',
v_batch_id,
v_missing_keys_count;
END IF;
@@ -106,7 +106,7 @@ BEGIN
END IF;
RAISE NOTICE
'DQ PASSED: ods.segments ок (batch_id=%): stg_batch_rows=%',
'DQ PASSED: ods.segments ок (_load_id=%): stg_batch_rows=%',
v_batch_id,
v_stg_batch_count;
END $$;
sql/ods/segments_load.sql
+9 -9
View File
@@ -9,16 +9,16 @@ WITH src AS (
NULLIF(s.flight_id, '')::INTEGER AS flight_id,
s.fare_conditions,
NULLIF(s.price, '')::NUMERIC(10,2) AS amount,
s.src_created_at_ts AS event_ts,
s.batch_id,
s.load_dttm,
s.event_ts,
s._load_id,
s._load_ts,
ROW_NUMBER() OVER (
PARTITION BY s.ticket_no, s.flight_id
ORDER BY s.src_created_at_ts DESC NULLS LAST, s.load_dttm DESC
ORDER BY s.event_ts DESC NULLS LAST, s._load_ts DESC
) AS rn
FROM stg.segments AS s
-- Используем HWM (High Water Mark) по техническому времени STG
WHERE s.load_dttm > (SELECT COALESCE(MAX(_load_ts), '1900-01-01 00:00:00'::TIMESTAMP) FROM ods.segments)
WHERE s._load_ts > (SELECT COALESCE(MAX(_load_ts), '1900-01-01 00:00:00'::TIMESTAMP) FROM ods.segments)
)
SELECT * FROM src WHERE rn = 1;
@@ -27,8 +27,8 @@ UPDATE ods.segments AS o
SET fare_conditions = s.fare_conditions,
amount = s.amount,
event_ts = s.event_ts,
_load_id = s.batch_id, -- Сохраняем оригинальный lineage из STG
_load_ts = s.load_dttm -- Фиксируем время STG как водяной знак для ODS
_load_id = s._load_id, -- Сохраняем оригинальный lineage из STG
_load_ts = s._load_ts -- Фиксируем время STG как водяной знак для ODS
FROM tmp_segments_delta AS s
WHERE o.ticket_no = s.ticket_no
AND o.flight_id = s.flight_id
@@ -54,8 +54,8 @@ SELECT
s.fare_conditions,
s.amount,
s.event_ts,
s.batch_id,
s.load_dttm
s._load_id,
s._load_ts
FROM tmp_segments_delta AS s
WHERE NOT EXISTS (
SELECT 1
sql/ods/tickets_dq.sql
+4 -4
View File
@@ -13,7 +13,7 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_batch_count
FROM stg.tickets
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
-- В ODS не должно быть дублей по бизнес-ключу.
SELECT COUNT(*) - COUNT(DISTINCT ticket_no)
@@ -32,7 +32,7 @@ BEGIN
FROM (
SELECT DISTINCT ticket_no
FROM stg.tickets
WHERE batch_id = v_batch_id
WHERE _load_id = v_batch_id
) AS s
WHERE NOT EXISTS (
SELECT 1
@@ -42,7 +42,7 @@ BEGIN
IF v_missing_keys_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: в ods.tickets отсутствуют ключи из stg.tickets (batch_id=%): %',
'DQ FAILED: в ods.tickets отсутствуют ключи из stg.tickets (_load_id=%): %',
v_batch_id,
v_missing_keys_count;
END IF;
@@ -86,7 +86,7 @@ BEGIN
END IF;
RAISE NOTICE
'DQ PASSED: ods.tickets ок (batch_id=%): stg_batch_rows=%',
'DQ PASSED: ods.tickets ок (_load_id=%): stg_batch_rows=%',
v_batch_id,
v_stg_batch_count;
END $$;
sql/ods/tickets_load.sql
+9 -9
View File
@@ -10,16 +10,16 @@ WITH src AS (
s.passenger_id,
s.passenger_name,
NULLIF(s.outbound, '')::BOOLEAN AS is_outbound,
s.src_created_at_ts AS event_ts,
s.batch_id,
s.load_dttm,
s.event_ts,
s._load_id,
s._load_ts,
ROW_NUMBER() OVER (
PARTITION BY s.ticket_no
ORDER BY s.src_created_at_ts DESC NULLS LAST, s.load_dttm DESC
ORDER BY s.event_ts DESC NULLS LAST, s._load_ts DESC
) AS rn
FROM stg.tickets AS s
-- Используем HWM (High Water Mark) по техническому времени STG
WHERE s.load_dttm > (SELECT COALESCE(MAX(_load_ts), '1900-01-01 00:00:00'::TIMESTAMP) FROM ods.tickets)
WHERE s._load_ts > (SELECT COALESCE(MAX(_load_ts), '1900-01-01 00:00:00'::TIMESTAMP) FROM ods.tickets)
)
SELECT * FROM src WHERE rn = 1;
@@ -30,8 +30,8 @@ SET book_ref = s.book_ref,
passenger_name = s.passenger_name,
is_outbound = s.is_outbound,
event_ts = s.event_ts,
_load_id = s.batch_id, -- Сохраняем оригинальный lineage из STG
_load_ts = s.load_dttm -- Фиксируем время STG как водяной знак для ODS
_load_id = s._load_id, -- Сохраняем оригинальный lineage из STG
_load_ts = s._load_ts -- Фиксируем время STG как водяной знак для ODS
FROM tmp_tickets_delta AS s
WHERE o.ticket_no = s.ticket_no
AND (
@@ -60,8 +60,8 @@ SELECT
s.passenger_name,
s.is_outbound,
s.event_ts,
s.batch_id,
s.load_dttm
s._load_id,
s._load_ts
FROM tmp_tickets_delta AS s
WHERE NOT EXISTS (
SELECT 1
sql/stg/airplanes_ddl.sql
+3 -3
View File
@@ -23,9 +23,9 @@ CREATE TABLE IF NOT EXISTS stg.airplanes (
model TEXT,
range TEXT,
speed TEXT,
src_created_at_ts TIMESTAMP,
load_dttm TIMESTAMP NOT NULL DEFAULT now(),
batch_id TEXT
event_ts TIMESTAMP,
_load_ts TIMESTAMP NOT NULL DEFAULT now(),
_load_id TEXT NOT NULL
)
WITH (appendonly=true, orientation=row, compresstype=zstd, compresslevel=1)
-- Ключ распределения: airplane_code
sql/stg/airplanes_dq.sql
+6 -6
View File
@@ -22,7 +22,7 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_count
FROM stg.airplanes
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_src_count <> v_stg_count THEN
RAISE EXCEPTION
@@ -35,11 +35,11 @@ BEGIN
SELECT COUNT(*) - COUNT(DISTINCT airplane_code)
INTO v_dup_count
FROM stg.airplanes AS a
WHERE a.batch_id = v_batch_id;
WHERE a._load_id = v_batch_id;
IF v_dup_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены дубликаты airplane_code (batch_id=%): %',
'DQ FAILED: найдены дубликаты airplane_code (_load_id=%): %',
v_batch_id,
v_dup_count;
END IF;
@@ -48,19 +48,19 @@ BEGIN
SELECT COUNT(*)
INTO v_null_count
FROM stg.airplanes AS a
WHERE a.batch_id = v_batch_id
WHERE a._load_id = v_batch_id
AND (a.airplane_code IS NULL OR a.airplane_code = ''
OR a.model IS NULL OR a.model = '');
IF v_null_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены строки с NULL в обязательных полях (airplane_code, model) (batch_id=%): %',
'DQ FAILED: найдены строки с NULL в обязательных полях (airplane_code, model) (_load_id=%): %',
v_batch_id,
v_null_count;
END IF;
RAISE NOTICE
'DQ PASSED: airplanes ок (batch_id=%): source=% stg=%',
'DQ PASSED: airplanes ок (_load_id=%): source=% stg=%',
v_batch_id,
v_src_count,
v_stg_count;
sql/stg/airplanes_load.sql
+6 -6
View File
@@ -1,14 +1,14 @@
-- Загрузка всех строк из stg.airplanes_ext в stg.airplanes (full load).
-- Используем batch_id для отслеживания загрузки.
-- Используем _load_id для отслеживания загрузки.
INSERT INTO stg.airplanes (
airplane_code,
model,
range,
speed,
src_created_at_ts,
load_dttm,
batch_id
event_ts,
_load_ts,
_load_id
)
SELECT
ext.airplane_code::text,
@@ -20,10 +20,10 @@ SELECT
'{{ run_id }}'::text
FROM stg.airplanes_ext AS ext
WHERE NOT EXISTS (
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего batch_id.
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего _load_id.
SELECT 1
FROM stg.airplanes AS a
WHERE a.batch_id = '{{ run_id }}'::text
WHERE a._load_id = '{{ run_id }}'::text
AND a.airplane_code = ext.airplane_code::text
);
sql/stg/airports_ddl.sql
+3 -3
View File
@@ -27,9 +27,9 @@ CREATE TABLE IF NOT EXISTS stg.airports (
country TEXT,
coordinates TEXT,
timezone TEXT,
src_created_at_ts TIMESTAMP,
load_dttm TIMESTAMP NOT NULL DEFAULT now(),
batch_id TEXT
event_ts TIMESTAMP,
_load_ts TIMESTAMP NOT NULL DEFAULT now(),
_load_id TEXT NOT NULL
)
WITH (appendonly=true, orientation=row, compresstype=zstd, compresslevel=1)
-- Ключ распределения: airport_code
sql/stg/airports_dq.sql
+6 -6
View File
@@ -22,7 +22,7 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_count
FROM stg.airports
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_src_count <> v_stg_count THEN
RAISE EXCEPTION
@@ -35,11 +35,11 @@ BEGIN
SELECT COUNT(*) - COUNT(DISTINCT airport_code)
INTO v_dup_count
FROM stg.airports AS a
WHERE a.batch_id = v_batch_id;
WHERE a._load_id = v_batch_id;
IF v_dup_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены дубликаты airport_code (batch_id=%): %',
'DQ FAILED: найдены дубликаты airport_code (_load_id=%): %',
v_batch_id,
v_dup_count;
END IF;
@@ -48,7 +48,7 @@ BEGIN
SELECT COUNT(*)
INTO v_null_count
FROM stg.airports AS a
WHERE a.batch_id = v_batch_id
WHERE a._load_id = v_batch_id
AND (a.airport_code IS NULL OR a.airport_code = ''
OR a.airport_name IS NULL OR a.airport_name = ''
OR a.city IS NULL OR a.city = ''
@@ -56,13 +56,13 @@ BEGIN
IF v_null_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены строки с NULL в обязательных полях (airport_code, airport_name, city, timezone) (batch_id=%): %',
'DQ FAILED: найдены строки с NULL в обязательных полях (airport_code, airport_name, city, timezone) (_load_id=%): %',
v_batch_id,
v_null_count;
END IF;
RAISE NOTICE
'DQ PASSED: airports ок (batch_id=%): source=% stg=%',
'DQ PASSED: airports ок (_load_id=%): source=% stg=%',
v_batch_id,
v_src_count,
v_stg_count;
sql/stg/airports_load.sql
+6 -6
View File
@@ -1,5 +1,5 @@
-- Загрузка всех строк из stg.airports_ext в stg.airports (full load).
-- Используем batch_id для отслеживания загрузки.
-- Используем _load_id для отслеживания загрузки.
INSERT INTO stg.airports (
airport_code,
@@ -8,9 +8,9 @@ INSERT INTO stg.airports (
country,
coordinates,
timezone,
src_created_at_ts,
load_dttm,
batch_id
event_ts,
_load_ts,
_load_id
)
SELECT
ext.airport_code::text,
@@ -24,10 +24,10 @@ SELECT
'{{ run_id }}'::text
FROM stg.airports_ext AS ext
WHERE NOT EXISTS (
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего batch_id.
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего _load_id.
SELECT 1
FROM stg.airports AS a
WHERE a.batch_id = '{{ run_id }}'::text
WHERE a._load_id = '{{ run_id }}'::text
AND a.airport_code = ext.airport_code::text
);
sql/stg/boarding_passes_ddl.sql
+3 -3
View File
@@ -24,9 +24,9 @@ CREATE TABLE IF NOT EXISTS stg.boarding_passes (
seat_no TEXT,
boarding_no TEXT,
boarding_time TEXT,
src_created_at_ts TIMESTAMP,
load_dttm TIMESTAMP NOT NULL DEFAULT now(),
batch_id TEXT
event_ts TIMESTAMP,
_load_ts TIMESTAMP NOT NULL DEFAULT now(),
_load_id TEXT NOT NULL
)
WITH (appendonly=true, orientation=row, compresstype=zstd, compresslevel=1)
-- Ключ распределения: ticket_no
sql/stg/boarding_passes_dq.sql
+12 -12
View File
@@ -17,7 +17,7 @@ BEGIN
IF v_src_count = 0 THEN
RAISE NOTICE
'В источнике boarding_passes_ext нет строк - пропускаем DQ проверки (batch_id=%).',
'В источнике boarding_passes_ext нет строк - пропускаем DQ проверки (_load_id=%).',
v_batch_id;
RETURN;
END IF;
@@ -26,7 +26,7 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_count
FROM stg.boarding_passes
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_src_count <> v_stg_count THEN
RAISE EXCEPTION
@@ -40,11 +40,11 @@ BEGIN
SELECT COUNT(*) - COUNT(DISTINCT md5(ROW(ticket_no, flight_id)::text))
INTO v_dup_count
FROM stg.boarding_passes AS bp
WHERE bp.batch_id = v_batch_id;
WHERE bp._load_id = v_batch_id;
IF v_dup_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены дубликаты (ticket_no, flight_id) (batch_id=%): %',
'DQ FAILED: найдены дубликаты (ticket_no, flight_id) (_load_id=%): %',
v_batch_id,
v_dup_count;
END IF;
@@ -53,13 +53,13 @@ BEGIN
SELECT COUNT(*)
INTO v_null_count
FROM stg.boarding_passes AS bp
WHERE bp.batch_id = v_batch_id
WHERE bp._load_id = v_batch_id
AND (bp.ticket_no IS NULL OR bp.ticket_no = ''
OR bp.flight_id IS NULL OR bp.flight_id = '');
IF v_null_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены строки с NULL в обязательных полях (batch_id=%): %',
'DQ FAILED: найдены строки с NULL в обязательных полях (_load_id=%): %',
v_batch_id,
v_null_count;
END IF;
@@ -69,12 +69,12 @@ BEGIN
INTO v_orphan_ticket_count
FROM stg.boarding_passes AS bp
LEFT JOIN stg.tickets AS t ON bp.ticket_no = t.ticket_no
WHERE bp.batch_id = v_batch_id
WHERE bp._load_id = v_batch_id
AND t.ticket_no IS NULL;
IF v_orphan_ticket_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены boarding_passes без соответствующих tickets (batch_id=%): %',
'DQ FAILED: найдены boarding_passes без соответствующих tickets (_load_id=%): %',
v_batch_id,
v_orphan_ticket_count;
END IF;
@@ -84,23 +84,23 @@ BEGIN
INTO v_orphan_segment_count
FROM stg.boarding_passes AS bp
LEFT JOIN stg.segments AS s ON bp.ticket_no = s.ticket_no AND bp.flight_id = s.flight_id
WHERE bp.batch_id = v_batch_id
WHERE bp._load_id = v_batch_id
AND s.ticket_no IS NULL;
IF v_orphan_segment_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены boarding_passes без соответствующих segments (batch_id=%): %',
'DQ FAILED: найдены boarding_passes без соответствующих segments (_load_id=%): %',
v_batch_id,
v_orphan_segment_count;
END IF;
RAISE NOTICE
'DQ PASSED: boarding_passes ок (batch_id=%): source=% stg=%',
'DQ PASSED: boarding_passes ок (_load_id=%): source=% stg=%',
v_batch_id,
v_src_count,
v_stg_count;
EXCEPTION WHEN OTHERS THEN
RAISE NOTICE 'DQ ERROR для boarding_passes (batch_id=%): %', v_batch_id, SQLERRM;
RAISE NOTICE 'DQ ERROR для boarding_passes (_load_id=%): %', v_batch_id, SQLERRM;
RAISE;
END $$;
sql/stg/boarding_passes_load.sql
+6 -6
View File
@@ -1,6 +1,6 @@
-- Загрузка всех строк из stg.boarding_passes_ext в stg.boarding_passes.
-- Используем full snapshot: все строки при каждом запуске.
-- Используем batch_id для отслеживания загрузки.
-- Используем _load_id для отслеживания загрузки.
INSERT INTO stg.boarding_passes (
ticket_no,
@@ -8,9 +8,9 @@ INSERT INTO stg.boarding_passes (
seat_no,
boarding_no,
boarding_time,
src_created_at_ts,
load_dttm,
batch_id
event_ts,
_load_ts,
_load_id
)
SELECT
ext.ticket_no,
@@ -23,11 +23,11 @@ SELECT
'{{ run_id }}'::text
FROM stg.boarding_passes_ext AS ext
WHERE NOT EXISTS (
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего batch_id.
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего _load_id.
-- Считаем ключом строки (ticket_no, flight_id).
SELECT 1
FROM stg.boarding_passes AS bp
WHERE bp.batch_id = '{{ run_id }}'::text
WHERE bp._load_id = '{{ run_id }}'::text
AND bp.ticket_no = ext.ticket_no
AND bp.flight_id = ext.flight_id
);
sql/stg/bookings_ddl.sql
+3 -3
View File
@@ -20,9 +20,9 @@ CREATE TABLE IF NOT EXISTS stg.bookings (
book_ref TEXT,
book_date TEXT,
total_amount TEXT,
src_created_at_ts TIMESTAMP,
load_dttm TIMESTAMP NOT NULL DEFAULT now(),
batch_id TEXT NOT NULL
event_ts TIMESTAMP,
_load_ts TIMESTAMP NOT NULL DEFAULT now(),
_load_id TEXT NOT NULL
)
WITH (appendonly=true, orientation=row, compresstype=zstd, compresslevel=1)
-- Ключ распределения: book_ref
sql/stg/bookings_dq.sql
+15 -15
View File
@@ -1,7 +1,7 @@
-- Проверка количества строк между источником stg.bookings_ext и стейджем stg.bookings.
-- Считаем строки за то же окно инкремента, что и при загрузке:
-- все записи во внешней таблице с book_date больше максимального src_created_at_ts
-- из предыдущих батчей должны совпасть по количеству со строками текущего batch_id.
-- все записи во внешней таблице с book_date больше максимального event_ts
-- из предыдущих батчей должны совпасть по количеству со строками текущего _load_id.
DO $$
DECLARE
@@ -12,12 +12,12 @@ DECLARE
v_dup_count bigint;
v_null_amount_count bigint;
BEGIN
-- Опорная метка: максимум src_created_at_ts среди предыдущих батчей
SELECT max(src_created_at_ts)
-- Опорная метка: максимум event_ts среди предыдущих батчей
SELECT max(event_ts)
INTO v_prev_ts
FROM stg.bookings
WHERE batch_id <> v_batch_id
OR batch_id IS NULL;
WHERE _load_id <> v_batch_id
OR _load_id IS NULL;
-- Источник: считаем строки во внешней таблице, которые вошли в новое окно
SELECT COUNT(*)
@@ -27,21 +27,21 @@ BEGIN
IF v_src_count = 0 THEN
-- Пустое окно инкремента допустимо: новых данных может не быть.
-- В этом случае ожидаем, что в текущем batch_id тоже 0 строк.
-- В этом случае ожидаем, что в текущем _load_id тоже 0 строк.
SELECT COUNT(*)
INTO v_stg_count
FROM stg.bookings
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_stg_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: источник bookings_ext за окно инкремента пустой, но в stg.bookings есть строки текущего batch_id (batch_id=%): %',
'DQ FAILED: источник bookings_ext за окно инкремента пустой, но в stg.bookings есть строки текущего _load_id (_load_id=%): %',
v_batch_id,
v_stg_count;
END IF;
RAISE NOTICE
'В источнике bookings_ext нет строк для окна инкремента (book_date > %). Пропускаем DQ проверки (batch_id=%).',
'В источнике bookings_ext нет строк для окна инкремента (book_date > %). Пропускаем DQ проверки (_load_id=%).',
COALESCE(v_prev_ts, TIMESTAMP '1900-01-01 00:00:00'),
v_batch_id;
RETURN;
@@ -51,7 +51,7 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_count
FROM stg.bookings
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_src_count <> v_stg_count THEN
RAISE EXCEPTION
@@ -64,11 +64,11 @@ BEGIN
SELECT COUNT(*) - COUNT(DISTINCT book_ref)
INTO v_dup_count
FROM stg.bookings AS b
WHERE b.batch_id = v_batch_id;
WHERE b._load_id = v_batch_id;
IF v_dup_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены дубликаты book_ref (batch_id=%): %',
'DQ FAILED: найдены дубликаты book_ref (_load_id=%): %',
v_batch_id,
v_dup_count;
END IF;
@@ -77,12 +77,12 @@ BEGIN
SELECT COUNT(*)
INTO v_null_amount_count
FROM stg.bookings AS b
WHERE b.batch_id = v_batch_id
WHERE b._load_id = v_batch_id
AND (b.total_amount IS NULL OR b.total_amount = '');
IF v_null_amount_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены bookings с NULL или пустым total_amount (batch_id=%): %',
'DQ FAILED: найдены bookings с NULL или пустым total_amount (_load_id=%): %',
v_batch_id,
v_null_amount_count;
END IF;
sql/stg/bookings_load.sql
+10 -10
View File
@@ -1,22 +1,22 @@
-- Загрузка инкремента из stg.bookings_ext в stg.bookings.
-- Окно инкремента определяется по src_created_at_ts:
-- берём строки, где book_date больше максимального src_created_at_ts
-- Окно инкремента определяется по event_ts:
-- берём строки, где book_date больше максимального event_ts
-- среди "старых" батчей; верхняя граница по дате не используется.
-- CTE для определения максимальной даты загрузки предыдущего батча
WITH max_batch_ts AS (
SELECT COALESCE(MAX(src_created_at_ts), TIMESTAMP '1900-01-01 00:00:00') AS max_ts
SELECT COALESCE(MAX(event_ts), TIMESTAMP '1900-01-01 00:00:00') AS max_ts
FROM stg.bookings
WHERE batch_id <> '{{ run_id }}'::text
OR batch_id IS NULL
WHERE _load_id <> '{{ run_id }}'::text
OR _load_id IS NULL
)
INSERT INTO stg.bookings (
book_ref,
book_date,
total_amount,
src_created_at_ts,
load_dttm,
batch_id
event_ts,
_load_ts,
_load_id
)
SELECT
ext.book_ref::text,
@@ -29,10 +29,10 @@ FROM stg.bookings_ext AS ext
CROSS JOIN max_batch_ts AS mb
WHERE ext.book_date > mb.max_ts
AND NOT EXISTS (
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего batch_id.
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего _load_id.
SELECT 1
FROM stg.bookings AS b
WHERE b.batch_id = '{{ run_id }}'::text
WHERE b._load_id = '{{ run_id }}'::text
AND b.book_ref = ext.book_ref::text
);
sql/stg/flights_ddl.sql
+3 -3
View File
@@ -28,9 +28,9 @@ CREATE TABLE IF NOT EXISTS stg.flights (
scheduled_arrival TEXT,
actual_departure TEXT,
actual_arrival TEXT,
src_created_at_ts TIMESTAMP,
load_dttm TIMESTAMP NOT NULL DEFAULT now(),
batch_id TEXT
event_ts TIMESTAMP,
_load_ts TIMESTAMP NOT NULL DEFAULT now(),
_load_id TEXT NOT NULL
)
WITH (appendonly=true, orientation=row, compresstype=zstd, compresslevel=1)
-- Ключ распределения: flight_id
sql/stg/flights_dq.sql
+17 -17
View File
@@ -10,12 +10,12 @@ DECLARE
v_null_count BIGINT;
v_orphan_route_count BIGINT;
BEGIN
-- Опорная метка: максимум src_created_at_ts среди предыдущих батчей
SELECT max(src_created_at_ts)
-- Опорная метка: максимум event_ts среди предыдущих батчей
SELECT max(event_ts)
INTO v_prev_ts
FROM stg.flights
WHERE batch_id <> v_batch_id
OR batch_id IS NULL;
WHERE _load_id <> v_batch_id
OR _load_id IS NULL;
-- Источник: считаем строки во внешней таблице, которые вошли в окно инкремента
SELECT COUNT(*)
@@ -25,21 +25,21 @@ BEGIN
IF v_src_count = 0 THEN
-- Пустое окно инкремента допустимо: новых данных может не быть.
-- В этом случае ожидаем, что в текущем batch_id тоже 0 строк.
-- В этом случае ожидаем, что в текущем _load_id тоже 0 строк.
SELECT COUNT(*)
INTO v_stg_count
FROM stg.flights
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_stg_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: источник flights_ext за окно инкремента пустой, но в stg.flights есть строки текущего batch_id (batch_id=%): %',
'DQ FAILED: источник flights_ext за окно инкремента пустой, но в stg.flights есть строки текущего _load_id (_load_id=%): %',
v_batch_id,
v_stg_count;
END IF;
RAISE NOTICE
'В источнике flights_ext нет строк для окна инкремента (scheduled_departure > %). Пропускаем DQ проверки (batch_id=%).',
'В источнике flights_ext нет строк для окна инкремента (scheduled_departure > %). Пропускаем DQ проверки (_load_id=%).',
COALESCE(v_prev_ts, TIMESTAMP '1900-01-01 00:00:00'),
v_batch_id;
RETURN;
@@ -49,7 +49,7 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_count
FROM stg.flights
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_src_count <> v_stg_count THEN
RAISE EXCEPTION
@@ -62,11 +62,11 @@ BEGIN
SELECT COUNT(*) - COUNT(DISTINCT flight_id)
INTO v_dup_count
FROM stg.flights AS f
WHERE f.batch_id = v_batch_id;
WHERE f._load_id = v_batch_id;
IF v_dup_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены дубликаты flight_id (batch_id=%): %',
'DQ FAILED: найдены дубликаты flight_id (_load_id=%): %',
v_batch_id,
v_dup_count;
END IF;
@@ -75,7 +75,7 @@ BEGIN
SELECT COUNT(*)
INTO v_null_count
FROM stg.flights AS f
WHERE f.batch_id = v_batch_id
WHERE f._load_id = v_batch_id
AND (f.flight_id IS NULL OR f.flight_id = ''
OR f.route_no IS NULL OR f.route_no = ''
OR f.status IS NULL OR f.status = ''
@@ -83,7 +83,7 @@ BEGIN
IF v_null_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены строки с NULL в обязательных полях (batch_id=%): %',
'DQ FAILED: найдены строки с NULL в обязательных полях (_load_id=%): %',
v_batch_id,
v_null_count;
END IF;
@@ -94,19 +94,19 @@ BEGIN
FROM stg.flights AS f
LEFT JOIN stg.routes AS r
ON f.route_no = r.route_no
AND r.batch_id = v_batch_id
WHERE f.batch_id = v_batch_id
AND r._load_id = v_batch_id
WHERE f._load_id = v_batch_id
AND r.route_no IS NULL;
IF v_orphan_route_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены flights без соответствующих routes (batch_id=%): %',
'DQ FAILED: найдены flights без соответствующих routes (_load_id=%): %',
v_batch_id,
v_orphan_route_count;
END IF;
RAISE NOTICE
'DQ PASSED: flights ок (batch_id=%): source=% stg=%',
'DQ PASSED: flights ок (_load_id=%): source=% stg=%',
v_batch_id,
v_src_count,
v_stg_count;
sql/stg/flights_load.sql
+10 -10
View File
@@ -1,14 +1,14 @@
-- Загрузка инкремента из stg.flights_ext в stg.flights.
-- Окно инкремента определяется по src_created_at_ts:
-- берём строки, где scheduled_departure больше максимального src_created_at_ts
-- Окно инкремента определяется по event_ts:
-- берём строки, где scheduled_departure больше максимального event_ts
-- среди "старых" батчей; верхняя граница по дате не используется.
-- CTE для определения максимальной даты загрузки предыдущего батча
WITH max_batch_ts AS (
SELECT COALESCE(MAX(src_created_at_ts), TIMESTAMP '1900-01-01 00:00:00') AS max_ts
SELECT COALESCE(MAX(event_ts), TIMESTAMP '1900-01-01 00:00:00') AS max_ts
FROM stg.flights
WHERE batch_id <> '{{ run_id }}'::text
OR batch_id IS NULL
WHERE _load_id <> '{{ run_id }}'::text
OR _load_id IS NULL
)
INSERT INTO stg.flights (
flight_id,
@@ -18,9 +18,9 @@ INSERT INTO stg.flights (
scheduled_arrival,
actual_departure,
actual_arrival,
src_created_at_ts,
load_dttm,
batch_id
event_ts,
_load_ts,
_load_id
)
SELECT
ext.flight_id::text,
@@ -37,10 +37,10 @@ FROM stg.flights_ext AS ext
CROSS JOIN max_batch_ts AS mb
WHERE ext.scheduled_departure > mb.max_ts
AND NOT EXISTS (
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего batch_id.
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего _load_id.
SELECT 1
FROM stg.flights AS f
WHERE f.batch_id = '{{ run_id }}'::text
WHERE f._load_id = '{{ run_id }}'::text
AND f.flight_id = ext.flight_id::text
);
sql/stg/routes_ddl.sql
+3 -3
View File
@@ -31,9 +31,9 @@ CREATE TABLE IF NOT EXISTS stg.routes (
days_of_week TEXT,
scheduled_time TEXT,
duration TEXT,
src_created_at_ts TIMESTAMP,
load_dttm TIMESTAMP NOT NULL DEFAULT now(),
batch_id TEXT
event_ts TIMESTAMP,
_load_ts TIMESTAMP NOT NULL DEFAULT now(),
_load_id TEXT NOT NULL
)
WITH (appendonly=true, orientation=row, compresstype=zstd, compresslevel=1)
-- Ключ распределения: route_no
sql/stg/routes_dq.sql
+15 -15
View File
@@ -24,7 +24,7 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_count
FROM stg.routes
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_src_count <> v_stg_count THEN
RAISE EXCEPTION
@@ -38,11 +38,11 @@ BEGIN
SELECT COUNT(*) - COUNT(DISTINCT md5(ROW(route_no, validity)::text))
INTO v_dup_count
FROM stg.routes AS r
WHERE r.batch_id = v_batch_id;
WHERE r._load_id = v_batch_id;
IF v_dup_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены дубликаты (route_no, validity) (batch_id=%): %',
'DQ FAILED: найдены дубликаты (route_no, validity) (_load_id=%): %',
v_batch_id,
v_dup_count;
END IF;
@@ -51,7 +51,7 @@ BEGIN
SELECT COUNT(*)
INTO v_null_count
FROM stg.routes AS r
WHERE r.batch_id = v_batch_id
WHERE r._load_id = v_batch_id
AND (r.route_no IS NULL OR r.route_no = ''
OR r.departure_airport IS NULL OR r.departure_airport = ''
OR r.arrival_airport IS NULL OR r.arrival_airport = ''
@@ -59,7 +59,7 @@ BEGIN
IF v_null_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены строки с NULL в обязательных полях (route_no, departure_airport, arrival_airport, airplane_code) (batch_id=%): %',
'DQ FAILED: найдены строки с NULL в обязательных полях (route_no, departure_airport, arrival_airport, airplane_code) (_load_id=%): %',
v_batch_id,
v_null_count;
END IF;
@@ -70,13 +70,13 @@ BEGIN
FROM stg.routes AS r
LEFT JOIN stg.airports AS da
ON r.departure_airport = da.airport_code
AND da.batch_id = v_batch_id
WHERE r.batch_id = v_batch_id
AND da._load_id = v_batch_id
WHERE r._load_id = v_batch_id
AND da.airport_code IS NULL;
IF v_orphan_airports_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены routes с несуществующим departure_airport в airports (batch_id=%): %',
'DQ FAILED: найдены routes с несуществующим departure_airport в airports (_load_id=%): %',
v_batch_id,
v_orphan_airports_count;
END IF;
@@ -87,13 +87,13 @@ BEGIN
FROM stg.routes AS r
LEFT JOIN stg.airports AS aa
ON r.arrival_airport = aa.airport_code
AND aa.batch_id = v_batch_id
WHERE r.batch_id = v_batch_id
AND aa._load_id = v_batch_id
WHERE r._load_id = v_batch_id
AND aa.airport_code IS NULL;
IF v_orphan_airports_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены routes с несуществующим arrival_airport в airports (batch_id=%): %',
'DQ FAILED: найдены routes с несуществующим arrival_airport в airports (_load_id=%): %',
v_batch_id,
v_orphan_airports_count;
END IF;
@@ -104,19 +104,19 @@ BEGIN
FROM stg.routes AS r
LEFT JOIN stg.airplanes AS a
ON r.airplane_code = a.airplane_code
AND a.batch_id = v_batch_id
WHERE r.batch_id = v_batch_id
AND a._load_id = v_batch_id
WHERE r._load_id = v_batch_id
AND a.airplane_code IS NULL;
IF v_orphan_airplanes_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены routes с несуществующим airplane_code в airplanes (batch_id=%): %',
'DQ FAILED: найдены routes с несуществующим airplane_code в airplanes (_load_id=%): %',
v_batch_id,
v_orphan_airplanes_count;
END IF;
RAISE NOTICE
'DQ PASSED: routes ок (batch_id=%): source=% stg=%',
'DQ PASSED: routes ок (_load_id=%): source=% stg=%',
v_batch_id,
v_src_count,
v_stg_count;
sql/stg/routes_load.sql
+6 -6
View File
@@ -1,5 +1,5 @@
-- Загрузка всех строк из stg.routes_ext в stg.routes (full load).
-- Используем batch_id для отслеживания загрузки.
-- Используем _load_id для отслеживания загрузки.
INSERT INTO stg.routes (
route_no,
@@ -10,9 +10,9 @@ INSERT INTO stg.routes (
days_of_week,
scheduled_time,
duration,
src_created_at_ts,
load_dttm,
batch_id
event_ts,
_load_ts,
_load_id
)
SELECT
ext.route_no::text,
@@ -28,11 +28,11 @@ SELECT
'{{ run_id }}'::text
FROM stg.routes_ext AS ext
WHERE NOT EXISTS (
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего batch_id.
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего _load_id.
-- Считаем ключом строки (route_no, validity).
SELECT 1
FROM stg.routes AS r
WHERE r.batch_id = '{{ run_id }}'::text
WHERE r._load_id = '{{ run_id }}'::text
AND r.route_no = ext.route_no::text
AND r.validity = ext.validity::text
);
sql/stg/seats_ddl.sql
+3 -3
View File
@@ -20,9 +20,9 @@ CREATE TABLE IF NOT EXISTS stg.seats (
airplane_code TEXT,
seat_no TEXT,
fare_conditions TEXT,
src_created_at_ts TIMESTAMP,
load_dttm TIMESTAMP NOT NULL DEFAULT now(),
batch_id TEXT
event_ts TIMESTAMP,
_load_ts TIMESTAMP NOT NULL DEFAULT now(),
_load_id TEXT NOT NULL
)
WITH (appendonly=true, orientation=row, compresstype=zstd, compresslevel=1)
-- Ключ распределения: airplane_code
sql/stg/seats_dq.sql
+9 -9
View File
@@ -23,7 +23,7 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_count
FROM stg.seats
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_src_count <> v_stg_count THEN
RAISE EXCEPTION
@@ -37,11 +37,11 @@ BEGIN
SELECT COUNT(*) - COUNT(DISTINCT md5(ROW(airplane_code, seat_no)::text))
INTO v_dup_count
FROM stg.seats AS s
WHERE s.batch_id = v_batch_id;
WHERE s._load_id = v_batch_id;
IF v_dup_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены дубликаты (airplane_code, seat_no) (batch_id=%): %',
'DQ FAILED: найдены дубликаты (airplane_code, seat_no) (_load_id=%): %',
v_batch_id,
v_dup_count;
END IF;
@@ -50,14 +50,14 @@ BEGIN
SELECT COUNT(*)
INTO v_null_count
FROM stg.seats AS s
WHERE s.batch_id = v_batch_id
WHERE s._load_id = v_batch_id
AND (s.airplane_code IS NULL OR s.airplane_code = ''
OR s.seat_no IS NULL OR s.seat_no = ''
OR s.fare_conditions IS NULL OR s.fare_conditions = '');
IF v_null_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены строки с NULL в обязательных полях (airplane_code, seat_no, fare_conditions) (batch_id=%): %',
'DQ FAILED: найдены строки с NULL в обязательных полях (airplane_code, seat_no, fare_conditions) (_load_id=%): %',
v_batch_id,
v_null_count;
END IF;
@@ -68,19 +68,19 @@ BEGIN
FROM stg.seats AS s
LEFT JOIN stg.airplanes AS a
ON s.airplane_code = a.airplane_code
AND a.batch_id = v_batch_id
WHERE s.batch_id = v_batch_id
AND a._load_id = v_batch_id
WHERE s._load_id = v_batch_id
AND a.airplane_code IS NULL;
IF v_orphan_airplanes_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены seats с несуществующим airplane_code в airplanes (batch_id=%): %',
'DQ FAILED: найдены seats с несуществующим airplane_code в airplanes (_load_id=%): %',
v_batch_id,
v_orphan_airplanes_count;
END IF;
RAISE NOTICE
'DQ PASSED: seats ок (batch_id=%): source=% stg=%',
'DQ PASSED: seats ок (_load_id=%): source=% stg=%',
v_batch_id,
v_src_count,
v_stg_count;
sql/stg/seats_load.sql
+6 -6
View File
@@ -1,13 +1,13 @@
-- Загрузка всех строк из stg.seats_ext в stg.seats (full load).
-- Используем batch_id для отслеживания загрузки.
-- Используем _load_id для отслеживания загрузки.
INSERT INTO stg.seats (
airplane_code,
seat_no,
fare_conditions,
src_created_at_ts,
load_dttm,
batch_id
event_ts,
_load_ts,
_load_id
)
SELECT
ext.airplane_code::text,
@@ -18,11 +18,11 @@ SELECT
'{{ run_id }}'::text
FROM stg.seats_ext AS ext
WHERE NOT EXISTS (
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего batch_id.
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего _load_id.
-- Считаем ключом строки (airplane_code, seat_no).
SELECT 1
FROM stg.seats AS s
WHERE s.batch_id = '{{ run_id }}'::text
WHERE s._load_id = '{{ run_id }}'::text
AND s.airplane_code = ext.airplane_code::text
AND s.seat_no = ext.seat_no::text
);
sql/stg/segments_ddl.sql
+3 -3
View File
@@ -22,9 +22,9 @@ CREATE TABLE IF NOT EXISTS stg.segments (
flight_id TEXT,
fare_conditions TEXT,
price TEXT,
src_created_at_ts TIMESTAMP,
load_dttm TIMESTAMP NOT NULL DEFAULT now(),
batch_id TEXT
event_ts TIMESTAMP,
_load_ts TIMESTAMP NOT NULL DEFAULT now(),
_load_id TEXT NOT NULL
)
WITH (appendonly=true, orientation=row, compresstype=zstd, compresslevel=1)
-- Ключ распределения: ticket_no
sql/stg/segments_dq.sql
+18 -18
View File
@@ -11,12 +11,12 @@ DECLARE
v_orphan_ticket_count BIGINT;
v_orphan_flight_count BIGINT;
BEGIN
-- Опорная метка: максимум src_created_at_ts среди предыдущих батчей
SELECT max(src_created_at_ts)
-- Опорная метка: максимум event_ts среди предыдущих батчей
SELECT max(event_ts)
INTO v_prev_ts
FROM stg.segments
WHERE batch_id <> v_batch_id
OR batch_id IS NULL;
WHERE _load_id <> v_batch_id
OR _load_id IS NULL;
-- Источник: считаем строки во внешней таблице, которые вошли в окно инкремента
SELECT COUNT(*)
@@ -28,21 +28,21 @@ BEGIN
IF v_src_count = 0 THEN
-- Пустое окно инкремента допустимо: новых данных может не быть.
-- В этом случае ожидаем, что в текущем batch_id тоже 0 строк.
-- В этом случае ожидаем, что в текущем _load_id тоже 0 строк.
SELECT COUNT(*)
INTO v_stg_count
FROM stg.segments
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_stg_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: источник segments_ext за окно инкремента пустой, но в stg.segments есть строки текущего batch_id (batch_id=%): %',
'DQ FAILED: источник segments_ext за окно инкремента пустой, но в stg.segments есть строки текущего _load_id (_load_id=%): %',
v_batch_id,
v_stg_count;
END IF;
RAISE NOTICE
'В источнике segments_ext нет строк для окна инкремента (book_date > %). Пропускаем DQ проверки (batch_id=%).',
'В источнике segments_ext нет строк для окна инкремента (book_date > %). Пропускаем DQ проверки (_load_id=%).',
COALESCE(v_prev_ts, TIMESTAMP '1900-01-01 00:00:00'),
v_batch_id;
RETURN;
@@ -52,7 +52,7 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_count
FROM stg.segments
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_src_count <> v_stg_count THEN
RAISE EXCEPTION
@@ -66,11 +66,11 @@ BEGIN
SELECT COUNT(*) - COUNT(DISTINCT md5(ROW(ticket_no, flight_id)::text))
INTO v_dup_count
FROM stg.segments AS s
WHERE s.batch_id = v_batch_id;
WHERE s._load_id = v_batch_id;
IF v_dup_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены дубликаты (ticket_no, flight_id) (batch_id=%): %',
'DQ FAILED: найдены дубликаты (ticket_no, flight_id) (_load_id=%): %',
v_batch_id,
v_dup_count;
END IF;
@@ -79,7 +79,7 @@ BEGIN
SELECT COUNT(*)
INTO v_null_count
FROM stg.segments AS s
WHERE s.batch_id = v_batch_id
WHERE s._load_id = v_batch_id
AND (s.ticket_no IS NULL OR s.ticket_no = ''
OR s.flight_id IS NULL OR s.flight_id = ''
OR s.fare_conditions IS NULL OR s.fare_conditions = ''
@@ -87,7 +87,7 @@ BEGIN
IF v_null_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены строки с NULL в обязательных полях (batch_id=%): %',
'DQ FAILED: найдены строки с NULL в обязательных полях (_load_id=%): %',
v_batch_id,
v_null_count;
END IF;
@@ -97,12 +97,12 @@ BEGIN
INTO v_orphan_ticket_count
FROM stg.segments AS s
LEFT JOIN stg.tickets AS t ON s.ticket_no = t.ticket_no
WHERE s.batch_id = v_batch_id
WHERE s._load_id = v_batch_id
AND t.ticket_no IS NULL;
IF v_orphan_ticket_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены segments без соответствующих tickets (batch_id=%): %',
'DQ FAILED: найдены segments без соответствующих tickets (_load_id=%): %',
v_batch_id,
v_orphan_ticket_count;
END IF;
@@ -112,18 +112,18 @@ BEGIN
INTO v_orphan_flight_count
FROM stg.segments AS s
LEFT JOIN stg.flights AS f ON s.flight_id = f.flight_id
WHERE s.batch_id = v_batch_id
WHERE s._load_id = v_batch_id
AND f.flight_id IS NULL;
IF v_orphan_flight_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены segments без соответствующих flights (batch_id=%): %',
'DQ FAILED: найдены segments без соответствующих flights (_load_id=%): %',
v_batch_id,
v_orphan_flight_count;
END IF;
RAISE NOTICE
'DQ PASSED: segments ок (batch_id=%): source=% stg=%',
'DQ PASSED: segments ок (_load_id=%): source=% stg=%',
v_batch_id,
v_src_count,
v_stg_count;
sql/stg/segments_load.sql
+8 -8
View File
@@ -4,19 +4,19 @@
-- CTE для определения максимальной даты загрузки предыдущего батча
WITH max_batch_ts AS (
SELECT COALESCE(MAX(src_created_at_ts), TIMESTAMP '1900-01-01 00:00:00') AS max_ts
SELECT COALESCE(MAX(event_ts), TIMESTAMP '1900-01-01 00:00:00') AS max_ts
FROM stg.segments
WHERE batch_id <> '{{ run_id }}'::text
OR batch_id IS NULL
WHERE _load_id <> '{{ run_id }}'::text
OR _load_id IS NULL
)
INSERT INTO stg.segments (
ticket_no,
flight_id,
fare_conditions,
price,
src_created_at_ts,
load_dttm,
batch_id
event_ts,
_load_ts,
_load_id
)
SELECT
ext.ticket_no,
@@ -32,11 +32,11 @@ JOIN stg.bookings_ext AS b ON t.book_ref = b.book_ref
CROSS JOIN max_batch_ts AS mb
WHERE b.book_date > mb.max_ts
AND NOT EXISTS (
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего batch_id.
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего _load_id.
-- Считаем ключом строки (ticket_no, flight_id).
SELECT 1
FROM stg.segments AS s
WHERE s.batch_id = '{{ run_id }}'::text
WHERE s._load_id = '{{ run_id }}'::text
AND s.ticket_no = ext.ticket_no
AND s.flight_id = ext.flight_id
);
sql/stg/tickets_ddl.sql
+3 -3
View File
@@ -24,9 +24,9 @@ CREATE TABLE IF NOT EXISTS stg.tickets (
passenger_id TEXT,
passenger_name TEXT,
outbound TEXT,
src_created_at_ts TIMESTAMP,
load_dttm TIMESTAMP NOT NULL DEFAULT now(),
batch_id TEXT
event_ts TIMESTAMP,
_load_ts TIMESTAMP NOT NULL DEFAULT now(),
_load_id TEXT NOT NULL
)
WITH (appendonly=true, orientation=row, compresstype=zstd, compresslevel=1)
-- Ключ распределения: book_ref
sql/stg/tickets_dq.sql
+19 -19
View File
@@ -11,12 +11,12 @@ DECLARE
v_dup_count BIGINT;
v_empty_name_count BIGINT;
BEGIN
-- Опорная метка: максимум src_created_at_ts среди предыдущих батчей
SELECT max(src_created_at_ts)
-- Опорная метка: максимум event_ts среди предыдущих батчей
SELECT max(event_ts)
INTO v_prev_ts
FROM stg.tickets
WHERE batch_id <> v_batch_id
OR batch_id IS NULL;
WHERE _load_id <> v_batch_id
OR _load_id IS NULL;
-- Количество в источнике (новые билеты в том же окне инкремента, что и загрузка)
SELECT COUNT(*)
@@ -27,21 +27,21 @@ BEGIN
IF v_source_count = 0 THEN
-- Пустое окно инкремента допустимо: новых данных может не быть.
-- В этом случае ожидаем, что в текущем batch_id тоже 0 строк.
-- В этом случае ожидаем, что в текущем _load_id тоже 0 строк.
SELECT COUNT(*)
INTO v_stg_count
FROM stg.tickets
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_stg_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: источник tickets_ext за окно инкремента пустой, но в stg.tickets есть строки текущего batch_id (batch_id=%): %',
'DQ FAILED: источник tickets_ext за окно инкремента пустой, но в stg.tickets есть строки текущего _load_id (_load_id=%): %',
v_batch_id,
v_stg_count;
END IF;
RAISE NOTICE
'В источнике tickets_ext нет строк для окна инкремента (book_date > %). Пропускаем DQ проверки (batch_id=%).',
'В источнике tickets_ext нет строк для окна инкремента (book_date > %). Пропускаем DQ проверки (_load_id=%).',
COALESCE(v_prev_ts, TIMESTAMP '1900-01-01 00:00:00'),
v_batch_id;
RETURN;
@@ -51,11 +51,11 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_count
FROM stg.tickets
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_source_count <> v_stg_count THEN
RAISE EXCEPTION
'DQ FAILED: несовпадение количества билетов. Источник: %, STG (batch_id=%): %',
'DQ FAILED: несовпадение количества билетов. Источник: %, STG (_load_id=%): %',
v_source_count,
v_batch_id,
v_stg_count;
@@ -67,12 +67,12 @@ BEGIN
INTO v_orphan_count
FROM stg.tickets AS t
LEFT JOIN stg.bookings AS b ON t.book_ref = b.book_ref
WHERE t.batch_id = v_batch_id
WHERE t._load_id = v_batch_id
AND b.book_ref IS NULL;
IF v_orphan_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены tickets без соответствующих bookings (batch_id=%): %',
'DQ FAILED: найдены tickets без соответствующих bookings (_load_id=%): %',
v_batch_id,
v_orphan_count;
END IF;
@@ -81,12 +81,12 @@ BEGIN
SELECT COUNT(*)
INTO v_null_count
FROM stg.tickets AS t
WHERE t.batch_id = v_batch_id
WHERE t._load_id = v_batch_id
AND (t.ticket_no IS NULL OR t.book_ref IS NULL);
IF v_null_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены tickets с NULL в обязательных полях (batch_id=%): %',
'DQ FAILED: найдены tickets с NULL в обязательных полях (_load_id=%): %',
v_batch_id,
v_null_count;
END IF;
@@ -95,11 +95,11 @@ BEGIN
SELECT COUNT(*) - COUNT(DISTINCT ticket_no)
INTO v_dup_count
FROM stg.tickets AS t
WHERE t.batch_id = v_batch_id;
WHERE t._load_id = v_batch_id;
IF v_dup_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены дубликаты ticket_no (batch_id=%): %',
'DQ FAILED: найдены дубликаты ticket_no (_load_id=%): %',
v_batch_id,
v_dup_count;
END IF;
@@ -108,18 +108,18 @@ BEGIN
SELECT COUNT(*)
INTO v_empty_name_count
FROM stg.tickets AS t
WHERE t.batch_id = v_batch_id
WHERE t._load_id = v_batch_id
AND (t.passenger_name IS NULL OR t.passenger_name = '');
IF v_empty_name_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены tickets с пустым именем пассажира (batch_id=%): %',
'DQ FAILED: найдены tickets с пустым именем пассажира (_load_id=%): %',
v_batch_id,
v_empty_name_count;
END IF;
RAISE NOTICE
'DQ PASSED: tickets ок (batch_id=%): source=% stg=%',
'DQ PASSED: tickets ок (_load_id=%): source=% stg=%',
v_batch_id,
v_source_count,
v_stg_count;
sql/stg/tickets_load.sql
+6 -6
View File
@@ -3,10 +3,10 @@
-- CTE для определения максимальной даты загрузки предыдущего батча
WITH max_batch_ts AS (
SELECT COALESCE(MAX(src_created_at_ts), TIMESTAMP '1900-01-01 00:00:00') AS max_ts
SELECT COALESCE(MAX(event_ts), TIMESTAMP '1900-01-01 00:00:00') AS max_ts
FROM stg.tickets
WHERE batch_id <> '{{ run_id }}'::text
OR batch_id IS NULL
WHERE _load_id <> '{{ run_id }}'::text
OR _load_id IS NULL
)
INSERT INTO stg.tickets (
ticket_no,
@@ -14,9 +14,9 @@ INSERT INTO stg.tickets (
passenger_id,
passenger_name,
outbound,
src_created_at_ts,
load_dttm,
batch_id
event_ts,
_load_ts,
_load_id
)
SELECT
ext.ticket_no,