ddmitry/airflow-greenplum
1
0 Fork 0
Code Issues 6 Pull Requests Actions Packages Projects Releases Wiki Activity

refactor(all): унифицированы служебные поля STG — переход на канонический нейминг

Browse Source 
- Зачем:
  - STG-слой использовал legacy-имена (batch_id, load_dttm, src_created_at_ts),
    тогда как ODS/DDS/DM уже работали с каноном (_load_id, _load_ts, event_ts).
    Студент видел разные имена для одного понятия — это убрано.
- Что:
  - переименованы колонки в 9 STG DDL: batch_id→_load_id, load_dttm→_load_ts,
    src_created_at_ts→event_ts; добавлен NOT NULL для _load_id во всех таблицах.
  - обновлены 9 STG Load, 9 STG DQ, 9 ODS Load, 9 ODS DQ (INSERT/SELECT/WHERE).
  - обновлены DAG-файлы bookings_to_gp_stage.py и bookings_to_gp_ods.py
    (встроенный SQL резолвера, комментарии; Python-идентификаторы не тронуты).
  - обновлены тесты и ~15 документов (naming_conventions, PRD, db_schema,
    design-docs, qa-plan, README, TESTING и др.).
- Проверка:
  - grep -rn 'load_dttm\|src_created_at_ts' sql/ airflow/ tests/ — 0 совпадений.
  - make test — 4 passed.
  - e2e-etl: day1 прошёл полностью, day2 стартовал без ошибок.
This commit is contained in:
ddadmin committed 2026-03-10 00:07:08 +03:00
1 parent 3de4db8aa6
commit 5972bcc2d8
64 files changed
+582 -484
Download Patch File Download Diff File Expand all files Collapse all files

No files matched your search

sql/stg/airplanes_ddl.sql
+3 -3
View File
@@ -23,9 +23,9 @@ CREATE TABLE IF NOT EXISTS stg.airplanes (
model TEXT,
range TEXT,
speed TEXT,
src_created_at_ts TIMESTAMP,
load_dttm TIMESTAMP NOT NULL DEFAULT now(),
batch_id TEXT
event_ts TIMESTAMP,
_load_ts TIMESTAMP NOT NULL DEFAULT now(),
_load_id TEXT NOT NULL
)
WITH (appendonly=true, orientation=row, compresstype=zstd, compresslevel=1)
-- Ключ распределения: airplane_code
sql/stg/airplanes_dq.sql
+6 -6
View File
@@ -22,7 +22,7 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_count
FROM stg.airplanes
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_src_count <> v_stg_count THEN
RAISE EXCEPTION
@@ -35,11 +35,11 @@ BEGIN
SELECT COUNT(*) - COUNT(DISTINCT airplane_code)
INTO v_dup_count
FROM stg.airplanes AS a
WHERE a.batch_id = v_batch_id;
WHERE a._load_id = v_batch_id;
IF v_dup_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены дубликаты airplane_code (batch_id=%): %',
'DQ FAILED: найдены дубликаты airplane_code (_load_id=%): %',
v_batch_id,
v_dup_count;
END IF;
@@ -48,19 +48,19 @@ BEGIN
SELECT COUNT(*)
INTO v_null_count
FROM stg.airplanes AS a
WHERE a.batch_id = v_batch_id
WHERE a._load_id = v_batch_id
AND (a.airplane_code IS NULL OR a.airplane_code = ''
OR a.model IS NULL OR a.model = '');
IF v_null_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены строки с NULL в обязательных полях (airplane_code, model) (batch_id=%): %',
'DQ FAILED: найдены строки с NULL в обязательных полях (airplane_code, model) (_load_id=%): %',
v_batch_id,
v_null_count;
END IF;
RAISE NOTICE
'DQ PASSED: airplanes ок (batch_id=%): source=% stg=%',
'DQ PASSED: airplanes ок (_load_id=%): source=% stg=%',
v_batch_id,
v_src_count,
v_stg_count;
sql/stg/airplanes_load.sql
+6 -6
View File
@@ -1,14 +1,14 @@
-- Загрузка всех строк из stg.airplanes_ext в stg.airplanes (full load).
-- Используем batch_id для отслеживания загрузки.
-- Используем _load_id для отслеживания загрузки.
INSERT INTO stg.airplanes (
airplane_code,
model,
range,
speed,
src_created_at_ts,
load_dttm,
batch_id
event_ts,
_load_ts,
_load_id
)
SELECT
ext.airplane_code::text,
@@ -20,10 +20,10 @@ SELECT
'{{ run_id }}'::text
FROM stg.airplanes_ext AS ext
WHERE NOT EXISTS (
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего batch_id.
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего _load_id.
SELECT 1
FROM stg.airplanes AS a
WHERE a.batch_id = '{{ run_id }}'::text
WHERE a._load_id = '{{ run_id }}'::text
AND a.airplane_code = ext.airplane_code::text
);
sql/stg/airports_ddl.sql
+3 -3
View File
@@ -27,9 +27,9 @@ CREATE TABLE IF NOT EXISTS stg.airports (
country TEXT,
coordinates TEXT,
timezone TEXT,
src_created_at_ts TIMESTAMP,
load_dttm TIMESTAMP NOT NULL DEFAULT now(),
batch_id TEXT
event_ts TIMESTAMP,
_load_ts TIMESTAMP NOT NULL DEFAULT now(),
_load_id TEXT NOT NULL
)
WITH (appendonly=true, orientation=row, compresstype=zstd, compresslevel=1)
-- Ключ распределения: airport_code
sql/stg/airports_dq.sql
+6 -6
View File
@@ -22,7 +22,7 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_count
FROM stg.airports
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_src_count <> v_stg_count THEN
RAISE EXCEPTION
@@ -35,11 +35,11 @@ BEGIN
SELECT COUNT(*) - COUNT(DISTINCT airport_code)
INTO v_dup_count
FROM stg.airports AS a
WHERE a.batch_id = v_batch_id;
WHERE a._load_id = v_batch_id;
IF v_dup_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены дубликаты airport_code (batch_id=%): %',
'DQ FAILED: найдены дубликаты airport_code (_load_id=%): %',
v_batch_id,
v_dup_count;
END IF;
@@ -48,7 +48,7 @@ BEGIN
SELECT COUNT(*)
INTO v_null_count
FROM stg.airports AS a
WHERE a.batch_id = v_batch_id
WHERE a._load_id = v_batch_id
AND (a.airport_code IS NULL OR a.airport_code = ''
OR a.airport_name IS NULL OR a.airport_name = ''
OR a.city IS NULL OR a.city = ''
@@ -56,13 +56,13 @@ BEGIN
IF v_null_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены строки с NULL в обязательных полях (airport_code, airport_name, city, timezone) (batch_id=%): %',
'DQ FAILED: найдены строки с NULL в обязательных полях (airport_code, airport_name, city, timezone) (_load_id=%): %',
v_batch_id,
v_null_count;
END IF;
RAISE NOTICE
'DQ PASSED: airports ок (batch_id=%): source=% stg=%',
'DQ PASSED: airports ок (_load_id=%): source=% stg=%',
v_batch_id,
v_src_count,
v_stg_count;
sql/stg/airports_load.sql
+6 -6
View File
@@ -1,5 +1,5 @@
-- Загрузка всех строк из stg.airports_ext в stg.airports (full load).
-- Используем batch_id для отслеживания загрузки.
-- Используем _load_id для отслеживания загрузки.
INSERT INTO stg.airports (
airport_code,
@@ -8,9 +8,9 @@ INSERT INTO stg.airports (
country,
coordinates,
timezone,
src_created_at_ts,
load_dttm,
batch_id
event_ts,
_load_ts,
_load_id
)
SELECT
ext.airport_code::text,
@@ -24,10 +24,10 @@ SELECT
'{{ run_id }}'::text
FROM stg.airports_ext AS ext
WHERE NOT EXISTS (
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего batch_id.
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего _load_id.
SELECT 1
FROM stg.airports AS a
WHERE a.batch_id = '{{ run_id }}'::text
WHERE a._load_id = '{{ run_id }}'::text
AND a.airport_code = ext.airport_code::text
);
sql/stg/boarding_passes_ddl.sql
+3 -3
View File
@@ -24,9 +24,9 @@ CREATE TABLE IF NOT EXISTS stg.boarding_passes (
seat_no TEXT,
boarding_no TEXT,
boarding_time TEXT,
src_created_at_ts TIMESTAMP,
load_dttm TIMESTAMP NOT NULL DEFAULT now(),
batch_id TEXT
event_ts TIMESTAMP,
_load_ts TIMESTAMP NOT NULL DEFAULT now(),
_load_id TEXT NOT NULL
)
WITH (appendonly=true, orientation=row, compresstype=zstd, compresslevel=1)
-- Ключ распределения: ticket_no
sql/stg/boarding_passes_dq.sql
+12 -12
View File
@@ -17,7 +17,7 @@ BEGIN
IF v_src_count = 0 THEN
RAISE NOTICE
'В источнике boarding_passes_ext нет строк - пропускаем DQ проверки (batch_id=%).',
'В источнике boarding_passes_ext нет строк - пропускаем DQ проверки (_load_id=%).',
v_batch_id;
RETURN;
END IF;
@@ -26,7 +26,7 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_count
FROM stg.boarding_passes
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_src_count <> v_stg_count THEN
RAISE EXCEPTION
@@ -40,11 +40,11 @@ BEGIN
SELECT COUNT(*) - COUNT(DISTINCT md5(ROW(ticket_no, flight_id)::text))
INTO v_dup_count
FROM stg.boarding_passes AS bp
WHERE bp.batch_id = v_batch_id;
WHERE bp._load_id = v_batch_id;
IF v_dup_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены дубликаты (ticket_no, flight_id) (batch_id=%): %',
'DQ FAILED: найдены дубликаты (ticket_no, flight_id) (_load_id=%): %',
v_batch_id,
v_dup_count;
END IF;
@@ -53,13 +53,13 @@ BEGIN
SELECT COUNT(*)
INTO v_null_count
FROM stg.boarding_passes AS bp
WHERE bp.batch_id = v_batch_id
WHERE bp._load_id = v_batch_id
AND (bp.ticket_no IS NULL OR bp.ticket_no = ''
OR bp.flight_id IS NULL OR bp.flight_id = '');
IF v_null_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены строки с NULL в обязательных полях (batch_id=%): %',
'DQ FAILED: найдены строки с NULL в обязательных полях (_load_id=%): %',
v_batch_id,
v_null_count;
END IF;
@@ -69,12 +69,12 @@ BEGIN
INTO v_orphan_ticket_count
FROM stg.boarding_passes AS bp
LEFT JOIN stg.tickets AS t ON bp.ticket_no = t.ticket_no
WHERE bp.batch_id = v_batch_id
WHERE bp._load_id = v_batch_id
AND t.ticket_no IS NULL;
IF v_orphan_ticket_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены boarding_passes без соответствующих tickets (batch_id=%): %',
'DQ FAILED: найдены boarding_passes без соответствующих tickets (_load_id=%): %',
v_batch_id,
v_orphan_ticket_count;
END IF;
@@ -84,23 +84,23 @@ BEGIN
INTO v_orphan_segment_count
FROM stg.boarding_passes AS bp
LEFT JOIN stg.segments AS s ON bp.ticket_no = s.ticket_no AND bp.flight_id = s.flight_id
WHERE bp.batch_id = v_batch_id
WHERE bp._load_id = v_batch_id
AND s.ticket_no IS NULL;
IF v_orphan_segment_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены boarding_passes без соответствующих segments (batch_id=%): %',
'DQ FAILED: найдены boarding_passes без соответствующих segments (_load_id=%): %',
v_batch_id,
v_orphan_segment_count;
END IF;
RAISE NOTICE
'DQ PASSED: boarding_passes ок (batch_id=%): source=% stg=%',
'DQ PASSED: boarding_passes ок (_load_id=%): source=% stg=%',
v_batch_id,
v_src_count,
v_stg_count;
EXCEPTION WHEN OTHERS THEN
RAISE NOTICE 'DQ ERROR для boarding_passes (batch_id=%): %', v_batch_id, SQLERRM;
RAISE NOTICE 'DQ ERROR для boarding_passes (_load_id=%): %', v_batch_id, SQLERRM;
RAISE;
END $$;
sql/stg/boarding_passes_load.sql
+6 -6
View File
@@ -1,6 +1,6 @@
-- Загрузка всех строк из stg.boarding_passes_ext в stg.boarding_passes.
-- Используем full snapshot: все строки при каждом запуске.
-- Используем batch_id для отслеживания загрузки.
-- Используем _load_id для отслеживания загрузки.
INSERT INTO stg.boarding_passes (
ticket_no,
@@ -8,9 +8,9 @@ INSERT INTO stg.boarding_passes (
seat_no,
boarding_no,
boarding_time,
src_created_at_ts,
load_dttm,
batch_id
event_ts,
_load_ts,
_load_id
)
SELECT
ext.ticket_no,
@@ -23,11 +23,11 @@ SELECT
'{{ run_id }}'::text
FROM stg.boarding_passes_ext AS ext
WHERE NOT EXISTS (
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего batch_id.
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего _load_id.
-- Считаем ключом строки (ticket_no, flight_id).
SELECT 1
FROM stg.boarding_passes AS bp
WHERE bp.batch_id = '{{ run_id }}'::text
WHERE bp._load_id = '{{ run_id }}'::text
AND bp.ticket_no = ext.ticket_no
AND bp.flight_id = ext.flight_id
);
sql/stg/bookings_ddl.sql
+3 -3
View File
@@ -20,9 +20,9 @@ CREATE TABLE IF NOT EXISTS stg.bookings (
book_ref TEXT,
book_date TEXT,
total_amount TEXT,
src_created_at_ts TIMESTAMP,
load_dttm TIMESTAMP NOT NULL DEFAULT now(),
batch_id TEXT NOT NULL
event_ts TIMESTAMP,
_load_ts TIMESTAMP NOT NULL DEFAULT now(),
_load_id TEXT NOT NULL
)
WITH (appendonly=true, orientation=row, compresstype=zstd, compresslevel=1)
-- Ключ распределения: book_ref
sql/stg/bookings_dq.sql
+15 -15
View File
@@ -1,7 +1,7 @@
-- Проверка количества строк между источником stg.bookings_ext и стейджем stg.bookings.
-- Считаем строки за то же окно инкремента, что и при загрузке:
-- все записи во внешней таблице с book_date больше максимального src_created_at_ts
-- из предыдущих батчей должны совпасть по количеству со строками текущего batch_id.
-- все записи во внешней таблице с book_date больше максимального event_ts
-- из предыдущих батчей должны совпасть по количеству со строками текущего _load_id.
DO $$
DECLARE
@@ -12,12 +12,12 @@ DECLARE
v_dup_count bigint;
v_null_amount_count bigint;
BEGIN
-- Опорная метка: максимум src_created_at_ts среди предыдущих батчей
SELECT max(src_created_at_ts)
-- Опорная метка: максимум event_ts среди предыдущих батчей
SELECT max(event_ts)
INTO v_prev_ts
FROM stg.bookings
WHERE batch_id <> v_batch_id
OR batch_id IS NULL;
WHERE _load_id <> v_batch_id
OR _load_id IS NULL;
-- Источник: считаем строки во внешней таблице, которые вошли в новое окно
SELECT COUNT(*)
@@ -27,21 +27,21 @@ BEGIN
IF v_src_count = 0 THEN
-- Пустое окно инкремента допустимо: новых данных может не быть.
-- В этом случае ожидаем, что в текущем batch_id тоже 0 строк.
-- В этом случае ожидаем, что в текущем _load_id тоже 0 строк.
SELECT COUNT(*)
INTO v_stg_count
FROM stg.bookings
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_stg_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: источник bookings_ext за окно инкремента пустой, но в stg.bookings есть строки текущего batch_id (batch_id=%): %',
'DQ FAILED: источник bookings_ext за окно инкремента пустой, но в stg.bookings есть строки текущего _load_id (_load_id=%): %',
v_batch_id,
v_stg_count;
END IF;
RAISE NOTICE
'В источнике bookings_ext нет строк для окна инкремента (book_date > %). Пропускаем DQ проверки (batch_id=%).',
'В источнике bookings_ext нет строк для окна инкремента (book_date > %). Пропускаем DQ проверки (_load_id=%).',
COALESCE(v_prev_ts, TIMESTAMP '1900-01-01 00:00:00'),
v_batch_id;
RETURN;
@@ -51,7 +51,7 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_count
FROM stg.bookings
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_src_count <> v_stg_count THEN
RAISE EXCEPTION
@@ -64,11 +64,11 @@ BEGIN
SELECT COUNT(*) - COUNT(DISTINCT book_ref)
INTO v_dup_count
FROM stg.bookings AS b
WHERE b.batch_id = v_batch_id;
WHERE b._load_id = v_batch_id;
IF v_dup_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены дубликаты book_ref (batch_id=%): %',
'DQ FAILED: найдены дубликаты book_ref (_load_id=%): %',
v_batch_id,
v_dup_count;
END IF;
@@ -77,12 +77,12 @@ BEGIN
SELECT COUNT(*)
INTO v_null_amount_count
FROM stg.bookings AS b
WHERE b.batch_id = v_batch_id
WHERE b._load_id = v_batch_id
AND (b.total_amount IS NULL OR b.total_amount = '');
IF v_null_amount_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены bookings с NULL или пустым total_amount (batch_id=%): %',
'DQ FAILED: найдены bookings с NULL или пустым total_amount (_load_id=%): %',
v_batch_id,
v_null_amount_count;
END IF;
sql/stg/bookings_load.sql
+10 -10
View File
@@ -1,22 +1,22 @@
-- Загрузка инкремента из stg.bookings_ext в stg.bookings.
-- Окно инкремента определяется по src_created_at_ts:
-- берём строки, где book_date больше максимального src_created_at_ts
-- Окно инкремента определяется по event_ts:
-- берём строки, где book_date больше максимального event_ts
-- среди "старых" батчей; верхняя граница по дате не используется.
-- CTE для определения максимальной даты загрузки предыдущего батча
WITH max_batch_ts AS (
SELECT COALESCE(MAX(src_created_at_ts), TIMESTAMP '1900-01-01 00:00:00') AS max_ts
SELECT COALESCE(MAX(event_ts), TIMESTAMP '1900-01-01 00:00:00') AS max_ts
FROM stg.bookings
WHERE batch_id <> '{{ run_id }}'::text
OR batch_id IS NULL
WHERE _load_id <> '{{ run_id }}'::text
OR _load_id IS NULL
)
INSERT INTO stg.bookings (
book_ref,
book_date,
total_amount,
src_created_at_ts,
load_dttm,
batch_id
event_ts,
_load_ts,
_load_id
)
SELECT
ext.book_ref::text,
@@ -29,10 +29,10 @@ FROM stg.bookings_ext AS ext
CROSS JOIN max_batch_ts AS mb
WHERE ext.book_date > mb.max_ts
AND NOT EXISTS (
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего batch_id.
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего _load_id.
SELECT 1
FROM stg.bookings AS b
WHERE b.batch_id = '{{ run_id }}'::text
WHERE b._load_id = '{{ run_id }}'::text
AND b.book_ref = ext.book_ref::text
);
sql/stg/flights_ddl.sql
+3 -3
View File
@@ -28,9 +28,9 @@ CREATE TABLE IF NOT EXISTS stg.flights (
scheduled_arrival TEXT,
actual_departure TEXT,
actual_arrival TEXT,
src_created_at_ts TIMESTAMP,
load_dttm TIMESTAMP NOT NULL DEFAULT now(),
batch_id TEXT
event_ts TIMESTAMP,
_load_ts TIMESTAMP NOT NULL DEFAULT now(),
_load_id TEXT NOT NULL
)
WITH (appendonly=true, orientation=row, compresstype=zstd, compresslevel=1)
-- Ключ распределения: flight_id
sql/stg/flights_dq.sql
+17 -17
View File
@@ -10,12 +10,12 @@ DECLARE
v_null_count BIGINT;
v_orphan_route_count BIGINT;
BEGIN
-- Опорная метка: максимум src_created_at_ts среди предыдущих батчей
SELECT max(src_created_at_ts)
-- Опорная метка: максимум event_ts среди предыдущих батчей
SELECT max(event_ts)
INTO v_prev_ts
FROM stg.flights
WHERE batch_id <> v_batch_id
OR batch_id IS NULL;
WHERE _load_id <> v_batch_id
OR _load_id IS NULL;
-- Источник: считаем строки во внешней таблице, которые вошли в окно инкремента
SELECT COUNT(*)
@@ -25,21 +25,21 @@ BEGIN
IF v_src_count = 0 THEN
-- Пустое окно инкремента допустимо: новых данных может не быть.
-- В этом случае ожидаем, что в текущем batch_id тоже 0 строк.
-- В этом случае ожидаем, что в текущем _load_id тоже 0 строк.
SELECT COUNT(*)
INTO v_stg_count
FROM stg.flights
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_stg_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: источник flights_ext за окно инкремента пустой, но в stg.flights есть строки текущего batch_id (batch_id=%): %',
'DQ FAILED: источник flights_ext за окно инкремента пустой, но в stg.flights есть строки текущего _load_id (_load_id=%): %',
v_batch_id,
v_stg_count;
END IF;
RAISE NOTICE
'В источнике flights_ext нет строк для окна инкремента (scheduled_departure > %). Пропускаем DQ проверки (batch_id=%).',
'В источнике flights_ext нет строк для окна инкремента (scheduled_departure > %). Пропускаем DQ проверки (_load_id=%).',
COALESCE(v_prev_ts, TIMESTAMP '1900-01-01 00:00:00'),
v_batch_id;
RETURN;
@@ -49,7 +49,7 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_count
FROM stg.flights
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_src_count <> v_stg_count THEN
RAISE EXCEPTION
@@ -62,11 +62,11 @@ BEGIN
SELECT COUNT(*) - COUNT(DISTINCT flight_id)
INTO v_dup_count
FROM stg.flights AS f
WHERE f.batch_id = v_batch_id;
WHERE f._load_id = v_batch_id;
IF v_dup_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены дубликаты flight_id (batch_id=%): %',
'DQ FAILED: найдены дубликаты flight_id (_load_id=%): %',
v_batch_id,
v_dup_count;
END IF;
@@ -75,7 +75,7 @@ BEGIN
SELECT COUNT(*)
INTO v_null_count
FROM stg.flights AS f
WHERE f.batch_id = v_batch_id
WHERE f._load_id = v_batch_id
AND (f.flight_id IS NULL OR f.flight_id = ''
OR f.route_no IS NULL OR f.route_no = ''
OR f.status IS NULL OR f.status = ''
@@ -83,7 +83,7 @@ BEGIN
IF v_null_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены строки с NULL в обязательных полях (batch_id=%): %',
'DQ FAILED: найдены строки с NULL в обязательных полях (_load_id=%): %',
v_batch_id,
v_null_count;
END IF;
@@ -94,19 +94,19 @@ BEGIN
FROM stg.flights AS f
LEFT JOIN stg.routes AS r
ON f.route_no = r.route_no
AND r.batch_id = v_batch_id
WHERE f.batch_id = v_batch_id
AND r._load_id = v_batch_id
WHERE f._load_id = v_batch_id
AND r.route_no IS NULL;
IF v_orphan_route_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены flights без соответствующих routes (batch_id=%): %',
'DQ FAILED: найдены flights без соответствующих routes (_load_id=%): %',
v_batch_id,
v_orphan_route_count;
END IF;
RAISE NOTICE
'DQ PASSED: flights ок (batch_id=%): source=% stg=%',
'DQ PASSED: flights ок (_load_id=%): source=% stg=%',
v_batch_id,
v_src_count,
v_stg_count;
sql/stg/flights_load.sql
+10 -10
View File
@@ -1,14 +1,14 @@
-- Загрузка инкремента из stg.flights_ext в stg.flights.
-- Окно инкремента определяется по src_created_at_ts:
-- берём строки, где scheduled_departure больше максимального src_created_at_ts
-- Окно инкремента определяется по event_ts:
-- берём строки, где scheduled_departure больше максимального event_ts
-- среди "старых" батчей; верхняя граница по дате не используется.
-- CTE для определения максимальной даты загрузки предыдущего батча
WITH max_batch_ts AS (
SELECT COALESCE(MAX(src_created_at_ts), TIMESTAMP '1900-01-01 00:00:00') AS max_ts
SELECT COALESCE(MAX(event_ts), TIMESTAMP '1900-01-01 00:00:00') AS max_ts
FROM stg.flights
WHERE batch_id <> '{{ run_id }}'::text
OR batch_id IS NULL
WHERE _load_id <> '{{ run_id }}'::text
OR _load_id IS NULL
)
INSERT INTO stg.flights (
flight_id,
@@ -18,9 +18,9 @@ INSERT INTO stg.flights (
scheduled_arrival,
actual_departure,
actual_arrival,
src_created_at_ts,
load_dttm,
batch_id
event_ts,
_load_ts,
_load_id
)
SELECT
ext.flight_id::text,
@@ -37,10 +37,10 @@ FROM stg.flights_ext AS ext
CROSS JOIN max_batch_ts AS mb
WHERE ext.scheduled_departure > mb.max_ts
AND NOT EXISTS (
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего batch_id.
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего _load_id.
SELECT 1
FROM stg.flights AS f
WHERE f.batch_id = '{{ run_id }}'::text
WHERE f._load_id = '{{ run_id }}'::text
AND f.flight_id = ext.flight_id::text
);
sql/stg/routes_ddl.sql
+3 -3
View File
@@ -31,9 +31,9 @@ CREATE TABLE IF NOT EXISTS stg.routes (
days_of_week TEXT,
scheduled_time TEXT,
duration TEXT,
src_created_at_ts TIMESTAMP,
load_dttm TIMESTAMP NOT NULL DEFAULT now(),
batch_id TEXT
event_ts TIMESTAMP,
_load_ts TIMESTAMP NOT NULL DEFAULT now(),
_load_id TEXT NOT NULL
)
WITH (appendonly=true, orientation=row, compresstype=zstd, compresslevel=1)
-- Ключ распределения: route_no
sql/stg/routes_dq.sql
+15 -15
View File
@@ -24,7 +24,7 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_count
FROM stg.routes
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_src_count <> v_stg_count THEN
RAISE EXCEPTION
@@ -38,11 +38,11 @@ BEGIN
SELECT COUNT(*) - COUNT(DISTINCT md5(ROW(route_no, validity)::text))
INTO v_dup_count
FROM stg.routes AS r
WHERE r.batch_id = v_batch_id;
WHERE r._load_id = v_batch_id;
IF v_dup_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены дубликаты (route_no, validity) (batch_id=%): %',
'DQ FAILED: найдены дубликаты (route_no, validity) (_load_id=%): %',
v_batch_id,
v_dup_count;
END IF;
@@ -51,7 +51,7 @@ BEGIN
SELECT COUNT(*)
INTO v_null_count
FROM stg.routes AS r
WHERE r.batch_id = v_batch_id
WHERE r._load_id = v_batch_id
AND (r.route_no IS NULL OR r.route_no = ''
OR r.departure_airport IS NULL OR r.departure_airport = ''
OR r.arrival_airport IS NULL OR r.arrival_airport = ''
@@ -59,7 +59,7 @@ BEGIN
IF v_null_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены строки с NULL в обязательных полях (route_no, departure_airport, arrival_airport, airplane_code) (batch_id=%): %',
'DQ FAILED: найдены строки с NULL в обязательных полях (route_no, departure_airport, arrival_airport, airplane_code) (_load_id=%): %',
v_batch_id,
v_null_count;
END IF;
@@ -70,13 +70,13 @@ BEGIN
FROM stg.routes AS r
LEFT JOIN stg.airports AS da
ON r.departure_airport = da.airport_code
AND da.batch_id = v_batch_id
WHERE r.batch_id = v_batch_id
AND da._load_id = v_batch_id
WHERE r._load_id = v_batch_id
AND da.airport_code IS NULL;
IF v_orphan_airports_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены routes с несуществующим departure_airport в airports (batch_id=%): %',
'DQ FAILED: найдены routes с несуществующим departure_airport в airports (_load_id=%): %',
v_batch_id,
v_orphan_airports_count;
END IF;
@@ -87,13 +87,13 @@ BEGIN
FROM stg.routes AS r
LEFT JOIN stg.airports AS aa
ON r.arrival_airport = aa.airport_code
AND aa.batch_id = v_batch_id
WHERE r.batch_id = v_batch_id
AND aa._load_id = v_batch_id
WHERE r._load_id = v_batch_id
AND aa.airport_code IS NULL;
IF v_orphan_airports_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены routes с несуществующим arrival_airport в airports (batch_id=%): %',
'DQ FAILED: найдены routes с несуществующим arrival_airport в airports (_load_id=%): %',
v_batch_id,
v_orphan_airports_count;
END IF;
@@ -104,19 +104,19 @@ BEGIN
FROM stg.routes AS r
LEFT JOIN stg.airplanes AS a
ON r.airplane_code = a.airplane_code
AND a.batch_id = v_batch_id
WHERE r.batch_id = v_batch_id
AND a._load_id = v_batch_id
WHERE r._load_id = v_batch_id
AND a.airplane_code IS NULL;
IF v_orphan_airplanes_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены routes с несуществующим airplane_code в airplanes (batch_id=%): %',
'DQ FAILED: найдены routes с несуществующим airplane_code в airplanes (_load_id=%): %',
v_batch_id,
v_orphan_airplanes_count;
END IF;
RAISE NOTICE
'DQ PASSED: routes ок (batch_id=%): source=% stg=%',
'DQ PASSED: routes ок (_load_id=%): source=% stg=%',
v_batch_id,
v_src_count,
v_stg_count;
sql/stg/routes_load.sql
+6 -6
View File
@@ -1,5 +1,5 @@
-- Загрузка всех строк из stg.routes_ext в stg.routes (full load).
-- Используем batch_id для отслеживания загрузки.
-- Используем _load_id для отслеживания загрузки.
INSERT INTO stg.routes (
route_no,
@@ -10,9 +10,9 @@ INSERT INTO stg.routes (
days_of_week,
scheduled_time,
duration,
src_created_at_ts,
load_dttm,
batch_id
event_ts,
_load_ts,
_load_id
)
SELECT
ext.route_no::text,
@@ -28,11 +28,11 @@ SELECT
'{{ run_id }}'::text
FROM stg.routes_ext AS ext
WHERE NOT EXISTS (
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего batch_id.
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего _load_id.
-- Считаем ключом строки (route_no, validity).
SELECT 1
FROM stg.routes AS r
WHERE r.batch_id = '{{ run_id }}'::text
WHERE r._load_id = '{{ run_id }}'::text
AND r.route_no = ext.route_no::text
AND r.validity = ext.validity::text
);
sql/stg/seats_ddl.sql
+3 -3
View File
@@ -20,9 +20,9 @@ CREATE TABLE IF NOT EXISTS stg.seats (
airplane_code TEXT,
seat_no TEXT,
fare_conditions TEXT,
src_created_at_ts TIMESTAMP,
load_dttm TIMESTAMP NOT NULL DEFAULT now(),
batch_id TEXT
event_ts TIMESTAMP,
_load_ts TIMESTAMP NOT NULL DEFAULT now(),
_load_id TEXT NOT NULL
)
WITH (appendonly=true, orientation=row, compresstype=zstd, compresslevel=1)
-- Ключ распределения: airplane_code
sql/stg/seats_dq.sql
+9 -9
View File
@@ -23,7 +23,7 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_count
FROM stg.seats
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_src_count <> v_stg_count THEN
RAISE EXCEPTION
@@ -37,11 +37,11 @@ BEGIN
SELECT COUNT(*) - COUNT(DISTINCT md5(ROW(airplane_code, seat_no)::text))
INTO v_dup_count
FROM stg.seats AS s
WHERE s.batch_id = v_batch_id;
WHERE s._load_id = v_batch_id;
IF v_dup_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены дубликаты (airplane_code, seat_no) (batch_id=%): %',
'DQ FAILED: найдены дубликаты (airplane_code, seat_no) (_load_id=%): %',
v_batch_id,
v_dup_count;
END IF;
@@ -50,14 +50,14 @@ BEGIN
SELECT COUNT(*)
INTO v_null_count
FROM stg.seats AS s
WHERE s.batch_id = v_batch_id
WHERE s._load_id = v_batch_id
AND (s.airplane_code IS NULL OR s.airplane_code = ''
OR s.seat_no IS NULL OR s.seat_no = ''
OR s.fare_conditions IS NULL OR s.fare_conditions = '');
IF v_null_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены строки с NULL в обязательных полях (airplane_code, seat_no, fare_conditions) (batch_id=%): %',
'DQ FAILED: найдены строки с NULL в обязательных полях (airplane_code, seat_no, fare_conditions) (_load_id=%): %',
v_batch_id,
v_null_count;
END IF;
@@ -68,19 +68,19 @@ BEGIN
FROM stg.seats AS s
LEFT JOIN stg.airplanes AS a
ON s.airplane_code = a.airplane_code
AND a.batch_id = v_batch_id
WHERE s.batch_id = v_batch_id
AND a._load_id = v_batch_id
WHERE s._load_id = v_batch_id
AND a.airplane_code IS NULL;
IF v_orphan_airplanes_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены seats с несуществующим airplane_code в airplanes (batch_id=%): %',
'DQ FAILED: найдены seats с несуществующим airplane_code в airplanes (_load_id=%): %',
v_batch_id,
v_orphan_airplanes_count;
END IF;
RAISE NOTICE
'DQ PASSED: seats ок (batch_id=%): source=% stg=%',
'DQ PASSED: seats ок (_load_id=%): source=% stg=%',
v_batch_id,
v_src_count,
v_stg_count;
sql/stg/seats_load.sql
+6 -6
View File
@@ -1,13 +1,13 @@
-- Загрузка всех строк из stg.seats_ext в stg.seats (full load).
-- Используем batch_id для отслеживания загрузки.
-- Используем _load_id для отслеживания загрузки.
INSERT INTO stg.seats (
airplane_code,
seat_no,
fare_conditions,
src_created_at_ts,
load_dttm,
batch_id
event_ts,
_load_ts,
_load_id
)
SELECT
ext.airplane_code::text,
@@ -18,11 +18,11 @@ SELECT
'{{ run_id }}'::text
FROM stg.seats_ext AS ext
WHERE NOT EXISTS (
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего batch_id.
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего _load_id.
-- Считаем ключом строки (airplane_code, seat_no).
SELECT 1
FROM stg.seats AS s
WHERE s.batch_id = '{{ run_id }}'::text
WHERE s._load_id = '{{ run_id }}'::text
AND s.airplane_code = ext.airplane_code::text
AND s.seat_no = ext.seat_no::text
);
sql/stg/segments_ddl.sql
+3 -3
View File
@@ -22,9 +22,9 @@ CREATE TABLE IF NOT EXISTS stg.segments (
flight_id TEXT,
fare_conditions TEXT,
price TEXT,
src_created_at_ts TIMESTAMP,
load_dttm TIMESTAMP NOT NULL DEFAULT now(),
batch_id TEXT
event_ts TIMESTAMP,
_load_ts TIMESTAMP NOT NULL DEFAULT now(),
_load_id TEXT NOT NULL
)
WITH (appendonly=true, orientation=row, compresstype=zstd, compresslevel=1)
-- Ключ распределения: ticket_no
sql/stg/segments_dq.sql
+18 -18
View File
@@ -11,12 +11,12 @@ DECLARE
v_orphan_ticket_count BIGINT;
v_orphan_flight_count BIGINT;
BEGIN
-- Опорная метка: максимум src_created_at_ts среди предыдущих батчей
SELECT max(src_created_at_ts)
-- Опорная метка: максимум event_ts среди предыдущих батчей
SELECT max(event_ts)
INTO v_prev_ts
FROM stg.segments
WHERE batch_id <> v_batch_id
OR batch_id IS NULL;
WHERE _load_id <> v_batch_id
OR _load_id IS NULL;
-- Источник: считаем строки во внешней таблице, которые вошли в окно инкремента
SELECT COUNT(*)
@@ -28,21 +28,21 @@ BEGIN
IF v_src_count = 0 THEN
-- Пустое окно инкремента допустимо: новых данных может не быть.
-- В этом случае ожидаем, что в текущем batch_id тоже 0 строк.
-- В этом случае ожидаем, что в текущем _load_id тоже 0 строк.
SELECT COUNT(*)
INTO v_stg_count
FROM stg.segments
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_stg_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: источник segments_ext за окно инкремента пустой, но в stg.segments есть строки текущего batch_id (batch_id=%): %',
'DQ FAILED: источник segments_ext за окно инкремента пустой, но в stg.segments есть строки текущего _load_id (_load_id=%): %',
v_batch_id,
v_stg_count;
END IF;
RAISE NOTICE
'В источнике segments_ext нет строк для окна инкремента (book_date > %). Пропускаем DQ проверки (batch_id=%).',
'В источнике segments_ext нет строк для окна инкремента (book_date > %). Пропускаем DQ проверки (_load_id=%).',
COALESCE(v_prev_ts, TIMESTAMP '1900-01-01 00:00:00'),
v_batch_id;
RETURN;
@@ -52,7 +52,7 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_count
FROM stg.segments
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_src_count <> v_stg_count THEN
RAISE EXCEPTION
@@ -66,11 +66,11 @@ BEGIN
SELECT COUNT(*) - COUNT(DISTINCT md5(ROW(ticket_no, flight_id)::text))
INTO v_dup_count
FROM stg.segments AS s
WHERE s.batch_id = v_batch_id;
WHERE s._load_id = v_batch_id;
IF v_dup_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены дубликаты (ticket_no, flight_id) (batch_id=%): %',
'DQ FAILED: найдены дубликаты (ticket_no, flight_id) (_load_id=%): %',
v_batch_id,
v_dup_count;
END IF;
@@ -79,7 +79,7 @@ BEGIN
SELECT COUNT(*)
INTO v_null_count
FROM stg.segments AS s
WHERE s.batch_id = v_batch_id
WHERE s._load_id = v_batch_id
AND (s.ticket_no IS NULL OR s.ticket_no = ''
OR s.flight_id IS NULL OR s.flight_id = ''
OR s.fare_conditions IS NULL OR s.fare_conditions = ''
@@ -87,7 +87,7 @@ BEGIN
IF v_null_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены строки с NULL в обязательных полях (batch_id=%): %',
'DQ FAILED: найдены строки с NULL в обязательных полях (_load_id=%): %',
v_batch_id,
v_null_count;
END IF;
@@ -97,12 +97,12 @@ BEGIN
INTO v_orphan_ticket_count
FROM stg.segments AS s
LEFT JOIN stg.tickets AS t ON s.ticket_no = t.ticket_no
WHERE s.batch_id = v_batch_id
WHERE s._load_id = v_batch_id
AND t.ticket_no IS NULL;
IF v_orphan_ticket_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены segments без соответствующих tickets (batch_id=%): %',
'DQ FAILED: найдены segments без соответствующих tickets (_load_id=%): %',
v_batch_id,
v_orphan_ticket_count;
END IF;
@@ -112,18 +112,18 @@ BEGIN
INTO v_orphan_flight_count
FROM stg.segments AS s
LEFT JOIN stg.flights AS f ON s.flight_id = f.flight_id
WHERE s.batch_id = v_batch_id
WHERE s._load_id = v_batch_id
AND f.flight_id IS NULL;
IF v_orphan_flight_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены segments без соответствующих flights (batch_id=%): %',
'DQ FAILED: найдены segments без соответствующих flights (_load_id=%): %',
v_batch_id,
v_orphan_flight_count;
END IF;
RAISE NOTICE
'DQ PASSED: segments ок (batch_id=%): source=% stg=%',
'DQ PASSED: segments ок (_load_id=%): source=% stg=%',
v_batch_id,
v_src_count,
v_stg_count;
sql/stg/segments_load.sql
+8 -8
View File
@@ -4,19 +4,19 @@
-- CTE для определения максимальной даты загрузки предыдущего батча
WITH max_batch_ts AS (
SELECT COALESCE(MAX(src_created_at_ts), TIMESTAMP '1900-01-01 00:00:00') AS max_ts
SELECT COALESCE(MAX(event_ts), TIMESTAMP '1900-01-01 00:00:00') AS max_ts
FROM stg.segments
WHERE batch_id <> '{{ run_id }}'::text
OR batch_id IS NULL
WHERE _load_id <> '{{ run_id }}'::text
OR _load_id IS NULL
)
INSERT INTO stg.segments (
ticket_no,
flight_id,
fare_conditions,
price,
src_created_at_ts,
load_dttm,
batch_id
event_ts,
_load_ts,
_load_id
)
SELECT
ext.ticket_no,
@@ -32,11 +32,11 @@ JOIN stg.bookings_ext AS b ON t.book_ref = b.book_ref
CROSS JOIN max_batch_ts AS mb
WHERE b.book_date > mb.max_ts
AND NOT EXISTS (
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего batch_id.
-- Идемпотентность: при повторном запуске/ретрае не вставляем повторно те же строки в рамках текущего _load_id.
-- Считаем ключом строки (ticket_no, flight_id).
SELECT 1
FROM stg.segments AS s
WHERE s.batch_id = '{{ run_id }}'::text
WHERE s._load_id = '{{ run_id }}'::text
AND s.ticket_no = ext.ticket_no
AND s.flight_id = ext.flight_id
);
sql/stg/tickets_ddl.sql
+3 -3
View File
@@ -24,9 +24,9 @@ CREATE TABLE IF NOT EXISTS stg.tickets (
passenger_id TEXT,
passenger_name TEXT,
outbound TEXT,
src_created_at_ts TIMESTAMP,
load_dttm TIMESTAMP NOT NULL DEFAULT now(),
batch_id TEXT
event_ts TIMESTAMP,
_load_ts TIMESTAMP NOT NULL DEFAULT now(),
_load_id TEXT NOT NULL
)
WITH (appendonly=true, orientation=row, compresstype=zstd, compresslevel=1)
-- Ключ распределения: book_ref
sql/stg/tickets_dq.sql
+19 -19
View File
@@ -11,12 +11,12 @@ DECLARE
v_dup_count BIGINT;
v_empty_name_count BIGINT;
BEGIN
-- Опорная метка: максимум src_created_at_ts среди предыдущих батчей
SELECT max(src_created_at_ts)
-- Опорная метка: максимум event_ts среди предыдущих батчей
SELECT max(event_ts)
INTO v_prev_ts
FROM stg.tickets
WHERE batch_id <> v_batch_id
OR batch_id IS NULL;
WHERE _load_id <> v_batch_id
OR _load_id IS NULL;
-- Количество в источнике (новые билеты в том же окне инкремента, что и загрузка)
SELECT COUNT(*)
@@ -27,21 +27,21 @@ BEGIN
IF v_source_count = 0 THEN
-- Пустое окно инкремента допустимо: новых данных может не быть.
-- В этом случае ожидаем, что в текущем batch_id тоже 0 строк.
-- В этом случае ожидаем, что в текущем _load_id тоже 0 строк.
SELECT COUNT(*)
INTO v_stg_count
FROM stg.tickets
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_stg_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: источник tickets_ext за окно инкремента пустой, но в stg.tickets есть строки текущего batch_id (batch_id=%): %',
'DQ FAILED: источник tickets_ext за окно инкремента пустой, но в stg.tickets есть строки текущего _load_id (_load_id=%): %',
v_batch_id,
v_stg_count;
END IF;
RAISE NOTICE
'В источнике tickets_ext нет строк для окна инкремента (book_date > %). Пропускаем DQ проверки (batch_id=%).',
'В источнике tickets_ext нет строк для окна инкремента (book_date > %). Пропускаем DQ проверки (_load_id=%).',
COALESCE(v_prev_ts, TIMESTAMP '1900-01-01 00:00:00'),
v_batch_id;
RETURN;
@@ -51,11 +51,11 @@ BEGIN
SELECT COUNT(*)
INTO v_stg_count
FROM stg.tickets
WHERE batch_id = v_batch_id;
WHERE _load_id = v_batch_id;
IF v_source_count <> v_stg_count THEN
RAISE EXCEPTION
'DQ FAILED: несовпадение количества билетов. Источник: %, STG (batch_id=%): %',
'DQ FAILED: несовпадение количества билетов. Источник: %, STG (_load_id=%): %',
v_source_count,
v_batch_id,
v_stg_count;
@@ -67,12 +67,12 @@ BEGIN
INTO v_orphan_count
FROM stg.tickets AS t
LEFT JOIN stg.bookings AS b ON t.book_ref = b.book_ref
WHERE t.batch_id = v_batch_id
WHERE t._load_id = v_batch_id
AND b.book_ref IS NULL;
IF v_orphan_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены tickets без соответствующих bookings (batch_id=%): %',
'DQ FAILED: найдены tickets без соответствующих bookings (_load_id=%): %',
v_batch_id,
v_orphan_count;
END IF;
@@ -81,12 +81,12 @@ BEGIN
SELECT COUNT(*)
INTO v_null_count
FROM stg.tickets AS t
WHERE t.batch_id = v_batch_id
WHERE t._load_id = v_batch_id
AND (t.ticket_no IS NULL OR t.book_ref IS NULL);
IF v_null_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены tickets с NULL в обязательных полях (batch_id=%): %',
'DQ FAILED: найдены tickets с NULL в обязательных полях (_load_id=%): %',
v_batch_id,
v_null_count;
END IF;
@@ -95,11 +95,11 @@ BEGIN
SELECT COUNT(*) - COUNT(DISTINCT ticket_no)
INTO v_dup_count
FROM stg.tickets AS t
WHERE t.batch_id = v_batch_id;
WHERE t._load_id = v_batch_id;
IF v_dup_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены дубликаты ticket_no (batch_id=%): %',
'DQ FAILED: найдены дубликаты ticket_no (_load_id=%): %',
v_batch_id,
v_dup_count;
END IF;
@@ -108,18 +108,18 @@ BEGIN
SELECT COUNT(*)
INTO v_empty_name_count
FROM stg.tickets AS t
WHERE t.batch_id = v_batch_id
WHERE t._load_id = v_batch_id
AND (t.passenger_name IS NULL OR t.passenger_name = '');
IF v_empty_name_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: найдены tickets с пустым именем пассажира (batch_id=%): %',
'DQ FAILED: найдены tickets с пустым именем пассажира (_load_id=%): %',
v_batch_id,
v_empty_name_count;
END IF;
RAISE NOTICE
'DQ PASSED: tickets ок (batch_id=%): source=% stg=%',
'DQ PASSED: tickets ок (_load_id=%): source=% stg=%',
v_batch_id,
v_source_count,
v_stg_count;
sql/stg/tickets_load.sql
+6 -6
View File
@@ -3,10 +3,10 @@
-- CTE для определения максимальной даты загрузки предыдущего батча
WITH max_batch_ts AS (
SELECT COALESCE(MAX(src_created_at_ts), TIMESTAMP '1900-01-01 00:00:00') AS max_ts
SELECT COALESCE(MAX(event_ts), TIMESTAMP '1900-01-01 00:00:00') AS max_ts
FROM stg.tickets
WHERE batch_id <> '{{ run_id }}'::text
OR batch_id IS NULL
WHERE _load_id <> '{{ run_id }}'::text
OR _load_id IS NULL
)
INSERT INTO stg.tickets (
ticket_no,
@@ -14,9 +14,9 @@ INSERT INTO stg.tickets (
passenger_id,
passenger_name,
outbound,
src_created_at_ts,
load_dttm,
batch_id
event_ts,
_load_ts,
_load_id
)
SELECT
ext.ticket_no,