ddadmin
22a0590e1b
- Зачем: - необходимо визуализировать выбор типа хранения (Heap vs Append-Only) для учебных целей. - автоматизировать проверку всей цепочки DWH для исключения ручных ошибок. - сделать процесс отладки прозрачным и наглядным через стандартные инструменты Airflow. - Что: - внедрена клауза WITH (appendonly=...) во все DDL; ODS-справочники переведены на AO Row и TRUNCATE+INSERT. - создан скрипт scripts/e2e_etl.sh для полного прогона ETL (DDL + 2 дня данных) через REST API. - исправлены баги типизации (INTEGER[]), именования полей (amount, passenger_id) и удалены фантомные колонки (contact_data). - обновлен e2e-etl-test-protocol.md: добавлен раздел по отладке, чтению логов и перезапуску задач через API. - исправлены pytest-контракты под новую логику загрузки. - Проверка: - успешный прогон `make e2e-smoke` (полный цикл от очистки до витрины).
46 lines
1.3 KiB
SQL
46 lines
1.3 KiB
SQL
-- Загрузка ODS по airports: Полная перезагрузка (TRUNCATE + INSERT).
|
|
-- Почему: для справочников-снимков в Greenplum на AO-таблицах
|
|
-- эффективнее перетереть данные целиком, чем делать медленный UPDATE.
|
|
|
|
TRUNCATE TABLE ods.airports;
|
|
|
|
INSERT INTO ods.airports (
|
|
airport_code,
|
|
airport_name,
|
|
city,
|
|
country,
|
|
coordinates,
|
|
timezone,
|
|
_load_id,
|
|
_load_ts
|
|
)
|
|
WITH src AS (
|
|
-- Выбираем последний снимок из STG для текущего батча
|
|
SELECT
|
|
s.airport_code,
|
|
s.airport_name::json->>'ru' AS airport_name,
|
|
s.city::json->>'ru' AS city,
|
|
s.country::json->>'ru' AS country,
|
|
s.coordinates,
|
|
s.timezone,
|
|
ROW_NUMBER() OVER (
|
|
PARTITION BY s.airport_code
|
|
ORDER BY s.load_dttm DESC, s.src_created_at_ts DESC NULLS LAST
|
|
) AS rn
|
|
FROM stg.airports AS s
|
|
WHERE s.batch_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
|
|
)
|
|
SELECT
|
|
s.airport_code,
|
|
s.airport_name,
|
|
s.city,
|
|
s.country,
|
|
s.coordinates,
|
|
s.timezone,
|
|
'{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text,
|
|
now()
|
|
FROM src AS s
|
|
WHERE s.rn = 1;
|
|
|
|
ANALYZE ods.airports;
|