feat(sql): явное управление storage и автоматизированный E2E-тест через REST API
- Зачем: - необходимо визуализировать выбор типа хранения (Heap vs Append-Only) для учебных целей. - автоматизировать проверку всей цепочки DWH для исключения ручных ошибок. - сделать процесс отладки прозрачным и наглядным через стандартные инструменты Airflow. - Что: - внедрена клауза WITH (appendonly=...) во все DDL; ODS-справочники переведены на AO Row и TRUNCATE+INSERT. - создан скрипт scripts/e2e_etl.sh для полного прогона ETL (DDL + 2 дня данных) через REST API. - исправлены баги типизации (INTEGER[]), именования полей (amount, passenger_id) и удалены фантомные колонки (contact_data). - обновлен e2e-etl-test-protocol.md: добавлен раздел по отладке, чтению логов и перезапуску задач через API. - исправлены pytest-контракты под новую логику загрузки. - Проверка: - успешный прогон `make e2e-smoke` (полный цикл от очистки до витрины).
This commit is contained in:
+18
-68
@@ -1,41 +1,9 @@
|
||||
-- Загрузка ODS по seats: SCD1 (UPDATE изменившихся + INSERT новых).
|
||||
-- Загрузка ODS по seats: Полная перезагрузка (TRUNCATE + INSERT).
|
||||
-- Почему: для справочников-снимков в Greenplum на AO-таблицах
|
||||
-- эффективнее перетереть данные целиком, чем делать медленный UPDATE.
|
||||
|
||||
-- Statement 1: UPDATE существующих строк.
|
||||
WITH src AS (
|
||||
SELECT
|
||||
s.airplane_code,
|
||||
s.seat_no,
|
||||
s.fare_conditions,
|
||||
ROW_NUMBER() OVER (
|
||||
PARTITION BY s.airplane_code, s.seat_no
|
||||
ORDER BY s.load_dttm DESC, s.src_created_at_ts DESC NULLS LAST
|
||||
) AS rn
|
||||
FROM stg.seats AS s
|
||||
WHERE s.batch_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
|
||||
)
|
||||
UPDATE ods.seats AS o
|
||||
SET fare_conditions = s.fare_conditions,
|
||||
_load_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text,
|
||||
_load_ts = now()
|
||||
FROM src AS s
|
||||
WHERE s.rn = 1
|
||||
AND o.airplane_code = s.airplane_code
|
||||
AND o.seat_no = s.seat_no
|
||||
AND o.fare_conditions IS DISTINCT FROM s.fare_conditions;
|
||||
TRUNCATE TABLE ods.seats;
|
||||
|
||||
-- Statement 2: INSERT новых строк.
|
||||
WITH src AS (
|
||||
SELECT
|
||||
s.airplane_code,
|
||||
s.seat_no,
|
||||
s.fare_conditions,
|
||||
ROW_NUMBER() OVER (
|
||||
PARTITION BY s.airplane_code, s.seat_no
|
||||
ORDER BY s.load_dttm DESC, s.src_created_at_ts DESC NULLS LAST
|
||||
) AS rn
|
||||
FROM stg.seats AS s
|
||||
WHERE s.batch_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
|
||||
)
|
||||
INSERT INTO ods.seats (
|
||||
airplane_code,
|
||||
seat_no,
|
||||
@@ -43,6 +11,19 @@ INSERT INTO ods.seats (
|
||||
_load_id,
|
||||
_load_ts
|
||||
)
|
||||
WITH src AS (
|
||||
-- Выбираем последний снимок из STG для текущего батча
|
||||
SELECT
|
||||
s.airplane_code,
|
||||
s.seat_no,
|
||||
s.fare_conditions,
|
||||
ROW_NUMBER() OVER (
|
||||
PARTITION BY s.airplane_code, s.seat_no
|
||||
ORDER BY s.load_dttm DESC, s.src_created_at_ts DESC NULLS LAST
|
||||
) AS rn
|
||||
FROM stg.seats AS s
|
||||
WHERE s.batch_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
|
||||
)
|
||||
SELECT
|
||||
s.airplane_code,
|
||||
s.seat_no,
|
||||
@@ -50,37 +31,6 @@ SELECT
|
||||
'{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text,
|
||||
now()
|
||||
FROM src AS s
|
||||
WHERE s.rn = 1
|
||||
AND NOT EXISTS (
|
||||
SELECT 1
|
||||
FROM ods.seats AS o
|
||||
WHERE o.airplane_code = s.airplane_code
|
||||
AND o.seat_no = s.seat_no
|
||||
);
|
||||
|
||||
-- Statement 3: DELETE ключей, которых нет в snapshot текущего батча.
|
||||
-- Это делает ODS для справочника действительно "current state".
|
||||
WITH src_keys AS (
|
||||
SELECT d.airplane_code, d.seat_no
|
||||
FROM (
|
||||
SELECT
|
||||
s.airplane_code,
|
||||
s.seat_no,
|
||||
ROW_NUMBER() OVER (
|
||||
PARTITION BY s.airplane_code, s.seat_no
|
||||
ORDER BY s.load_dttm DESC, s.src_created_at_ts DESC NULLS LAST
|
||||
) AS rn
|
||||
FROM stg.seats AS s
|
||||
WHERE s.batch_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
|
||||
) AS d
|
||||
WHERE d.rn = 1
|
||||
)
|
||||
DELETE FROM ods.seats AS o
|
||||
WHERE NOT EXISTS (
|
||||
SELECT 1
|
||||
FROM src_keys AS s
|
||||
WHERE s.airplane_code = o.airplane_code
|
||||
AND s.seat_no = o.seat_no
|
||||
);
|
||||
WHERE s.rn = 1;
|
||||
|
||||
ANALYZE ods.seats;
|
||||
|
||||
Reference in New Issue
Block a user