feat(validate): добавлен валидационный DAG bookings_validate
- Зачем:
- студент реализует 9 объектов DWH без автоматической обратной связи;
- ошибки (NULL в PK, дубли BK, сломанный SCD2) обнаруживались только на слое DM
через 2–3 слоя, где отладка многократно сложнее.
- Что:
- создан DAG bookings_validate.py — три параллельных TaskGroup (validate_ods,
validate_dds, validate_dm), schedule=None (только ручной trigger);
- создано 17 SQL-скриптов в sql/validate/: ODS BK coverage vs STG-батч,
согласованность _load_id между ods.airplanes и ods.seats, дубли BK, NULL в PK,
покрытие ODS→DDS для измерений (dim_routes требует открытой версии valid_to IS NULL),
SCD2 активный тест backup→mutate→student_load→check(5 инвариантов)→restore
(trigger_rule=all_done), проверка «дыр» между SCD2-версиями,
exists-чеки для 4 DM-витрин;
- добавлен класс TestBookingsValidate (5 smoke-тестов) в tests/test_dags_smoke.py.
- Проверка:
- make test — 4 passed, 14 skipped (DAG-тесты скипаются без Airflow, норма);
- ручной trigger bookings_validate в Airflow UI на solution-ветке — все таски зелёные.
This commit is contained in:
@@ -0,0 +1,12 @@
|
||||
-- Бэкап текущего состояния перед активным тестом SCD2.
|
||||
-- Используем обычные таблицы (не TEMP) — между тасками Airflow
|
||||
-- TEMP-таблицы не сохраняются (каждый таск = отдельная транзакция).
|
||||
|
||||
DROP TABLE IF EXISTS _validate_bk_ods_routes;
|
||||
CREATE TABLE _validate_bk_ods_routes AS SELECT * FROM ods.routes;
|
||||
|
||||
DROP TABLE IF EXISTS _validate_bk_dim_routes;
|
||||
CREATE TABLE _validate_bk_dim_routes AS SELECT * FROM dds.dim_routes;
|
||||
|
||||
-- Cleanup служебной таблицы от предыдущего запуска (на случай если restore не доехал)
|
||||
DROP TABLE IF EXISTS _validate_scd2_target;
|
||||
Reference in New Issue
Block a user