ddmitry/airflow-greenplum
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

feat(main): заглушки студенческих файлов, ослабление DQ, адаптация тестов

Browse Source 
- fact_flight_sales_dq: student SK (passenger/route/airplane) → NOTICE,
  airport_sk → порог 1% (эталон через ods.routes)
- routes_dq: закомментирован RI airplane_code → ods.airplanes
- ODS DAG: убрана зависимость dq_ods_airplanes → load_ods_routes
- 18 студенческих файлов заменены заглушками (ODS/DDS/DM load+dq)
- test_ods_sql_contract: SNAPSHOT_ENTITIES без airplanes/seats
- test_dags_smoke: убран assert dq_ods_airplanes → dq_ods_routes

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
This commit is contained in:
ddadmin
2026-03-12 23:07:14 +03:00
co-authored by Claude Opus 4.6
parent a8148c8afa
commit 5ca4e6b2ca
23 changed files with 120 additions and 1703 deletions
Download Patch File Download Diff File Expand all files Collapse all files
sql/dm/airport_traffic_dq.sql
+3 -49
View File
@@ -1,49 +1,3 @@
-- DQ проверки для витрины dm.airport_traffic.
--
-- Учебные цели:
-- 1. Проверка арифметических инвариантов (сумма частей должна быть равна целому).
-- 2. Валидация уникальности составного ключа (зерна).
DO $$
DECLARE
row_count INTEGER;
duplicate_count INTEGER;
invalid_total_count INTEGER;
negative_metrics_count INTEGER;
BEGIN
-- 1. Проверка на наполненность
SELECT COUNT(*) INTO row_count FROM dm.airport_traffic;
IF row_count = 0 THEN
RAISE EXCEPTION 'DQ Error: Таблица dm.airport_traffic пуста.';
END IF;
-- 2. Проверка на уникальность (зерно - traffic_date + airport_sk)
SELECT COUNT(*) INTO duplicate_count
FROM (
SELECT traffic_date, airport_sk FROM dm.airport_traffic
GROUP BY traffic_date, airport_sk HAVING COUNT(*) > 1
) q;
IF duplicate_count > 0 THEN
RAISE EXCEPTION 'DQ Error: В dm.airport_traffic обнаружены дубликаты по (date, airport_sk) (% шт).', duplicate_count;
END IF;
-- 3. Проверка инварианта total = departures + arrivals
SELECT COUNT(*) INTO invalid_total_count
FROM dm.airport_traffic
WHERE total_passengers != (departures_passengers + arrivals_passengers);
IF invalid_total_count > 0 THEN
RAISE EXCEPTION 'DQ Error: В dm.airport_traffic нарушен инвариант total_passengers = dep + arr (% строк).', invalid_total_count;
END IF;
-- 4. Проверка на отрицательные значения
SELECT COUNT(*) INTO negative_metrics_count
FROM dm.airport_traffic
WHERE departures_flights < 0 OR arrivals_flights < 0 OR departures_revenue < 0 OR arrivals_revenue < 0;
IF negative_metrics_count > 0 THEN
RAISE EXCEPTION 'DQ Error: В dm.airport_traffic обнаружены отрицательные метрики (% строк).', negative_metrics_count;
END IF;
RAISE NOTICE 'DQ Success: dm.airport_traffic успешно прошла все проверки (% строк).', row_count;
END $$;
-- TODO: реализуйте проверки качества данных для dm.airport_traffic
-- Эталонную реализацию можно найти в ветке solution.
SELECT 1;