ddadmin
a51e2a6243
- Зачем:
- студент реализует 9 объектов DWH без автоматической обратной связи;
- ошибки (NULL в PK, дубли BK, сломанный SCD2) обнаруживались только на слое DM
через 2–3 слоя, где отладка многократно сложнее.
- Что:
- создан DAG bookings_validate.py — три параллельных TaskGroup (validate_ods,
validate_dds, validate_dm), schedule=None (только ручной trigger);
- создано 17 SQL-скриптов в sql/validate/: ODS BK coverage vs STG-батч,
согласованность _load_id между ods.airplanes и ods.seats, дубли BK, NULL в PK,
покрытие ODS→DDS для измерений (dim_routes требует открытой версии valid_to IS NULL),
SCD2 активный тест backup→mutate→student_load→check(5 инвариантов)→restore
(trigger_rule=all_done), проверка «дыр» между SCD2-версиями,
exists-чеки для 4 DM-витрин;
- добавлен класс TestBookingsValidate (5 smoke-тестов) в tests/test_dags_smoke.py.
- Проверка:
- make test — 4 passed, 14 skipped (DAG-тесты скипаются без Airflow, норма);
- ручной trigger bookings_validate в Airflow UI на solution-ветке — все таски зелёные.
43 lines
2.2 KiB
SQL
43 lines
2.2 KiB
SQL
-- Откат данных после активного теста SCD2.
|
|
-- Выполняется ВСЕГДА (trigger_rule="all_done"), даже если check упал.
|
|
--
|
|
-- Безопасность: если backup-шаг не создал таблицы (сбой на backup),
|
|
-- откат НЕ трогает live-данные — просто чистит служебные таблицы.
|
|
-- Это гарантирует, что restore никогда не сломает ods.routes / dds.dim_routes.
|
|
--
|
|
-- Паттерн: setup → act → assert → teardown (стандарт интеграционных тестов).
|
|
|
|
DO $$
|
|
DECLARE
|
|
v_has_ods_backup BOOLEAN;
|
|
v_has_dim_backup BOOLEAN;
|
|
BEGIN
|
|
-- Проверяем существование backup-таблиц через to_regclass
|
|
-- (ищет по search_path — совпадает с тем, как CREATE TABLE их создал)
|
|
v_has_ods_backup := to_regclass('_validate_bk_ods_routes') IS NOT NULL;
|
|
v_has_dim_backup := to_regclass('_validate_bk_dim_routes') IS NOT NULL;
|
|
|
|
-- Восстанавливаем ods.routes только если бэкап существует
|
|
IF v_has_ods_backup THEN
|
|
TRUNCATE ods.routes;
|
|
INSERT INTO ods.routes SELECT * FROM _validate_bk_ods_routes;
|
|
RAISE NOTICE 'RESTORE: ods.routes восстановлена из бэкапа';
|
|
ELSE
|
|
RAISE NOTICE 'RESTORE: бэкап ods.routes не найден — пропускаем (backup-шаг не завершился?)';
|
|
END IF;
|
|
|
|
-- Восстанавливаем dds.dim_routes только если бэкап существует
|
|
IF v_has_dim_backup THEN
|
|
TRUNCATE dds.dim_routes;
|
|
INSERT INTO dds.dim_routes SELECT * FROM _validate_bk_dim_routes;
|
|
RAISE NOTICE 'RESTORE: dds.dim_routes восстановлена из бэкапа';
|
|
ELSE
|
|
RAISE NOTICE 'RESTORE: бэкап dds.dim_routes не найден — пропускаем';
|
|
END IF;
|
|
END $$;
|
|
|
|
-- Cleanup служебных таблиц (безусловно, IF EXISTS)
|
|
DROP TABLE IF EXISTS _validate_bk_ods_routes;
|
|
DROP TABLE IF EXISTS _validate_bk_dim_routes;
|
|
DROP TABLE IF EXISTS _validate_scd2_target;
|