ddadmin
22a0590e1b
- Зачем: - необходимо визуализировать выбор типа хранения (Heap vs Append-Only) для учебных целей. - автоматизировать проверку всей цепочки DWH для исключения ручных ошибок. - сделать процесс отладки прозрачным и наглядным через стандартные инструменты Airflow. - Что: - внедрена клауза WITH (appendonly=...) во все DDL; ODS-справочники переведены на AO Row и TRUNCATE+INSERT. - создан скрипт scripts/e2e_etl.sh для полного прогона ETL (DDL + 2 дня данных) через REST API. - исправлены баги типизации (INTEGER[]), именования полей (amount, passenger_id) и удалены фантомные колонки (contact_data). - обновлен e2e-etl-test-protocol.md: добавлен раздел по отладке, чтению логов и перезапуску задач через API. - исправлены pytest-контракты под новую логику загрузки. - Проверка: - успешный прогон `make e2e-smoke` (полный цикл от очистки до витрины).
40 lines
1.2 KiB
SQL
40 lines
1.2 KiB
SQL
-- Загрузка ODS по airplanes: Полная перезагрузка (TRUNCATE + INSERT).
|
|
-- Почему: для справочников-снимков в Greenplum на AO-таблицах
|
|
-- эффективнее перетереть данные целиком, чем делать медленный UPDATE.
|
|
|
|
TRUNCATE TABLE ods.airplanes;
|
|
|
|
INSERT INTO ods.airplanes (
|
|
airplane_code,
|
|
model,
|
|
range_km,
|
|
speed_kmh,
|
|
_load_id,
|
|
_load_ts
|
|
)
|
|
WITH src AS (
|
|
-- Выбираем последний снимок из STG для текущего батча
|
|
SELECT
|
|
s.airplane_code,
|
|
s.model::json->>'ru' AS model,
|
|
NULLIF(s.range, '')::INTEGER AS range_km,
|
|
NULLIF(s.speed, '')::INTEGER AS speed_kmh,
|
|
ROW_NUMBER() OVER (
|
|
PARTITION BY s.airplane_code
|
|
ORDER BY s.load_dttm DESC, s.src_created_at_ts DESC NULLS LAST
|
|
) AS rn
|
|
FROM stg.airplanes AS s
|
|
WHERE s.batch_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
|
|
)
|
|
SELECT
|
|
s.airplane_code,
|
|
s.model,
|
|
s.range_km,
|
|
s.speed_kmh,
|
|
'{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text,
|
|
now()
|
|
FROM src AS s
|
|
WHERE s.rn = 1;
|
|
|
|
ANALYZE ods.airplanes;
|