feat(dm): добавлена витрина airport_traffic и внедрен паттерн dual-role dimensions

- Зачем: - необходимо продемонстрировать студентам работу с одной сущностью в разных ролях (вылет/прилет) через UNION ALL. - Что: - созданы DDL, Load и DQ скрипты для витрины dm.airport_traffic (пассажиропоток аэропортов). - реализован паттерн Unpivot через UNION ALL для консолидации метрик вылета и прилета в одном разрезе. - внедрена инкрементальная загрузка по затронутым датам (HWM) с честным подсчетом рейсов через COUNT(DISTINCT). - добавлены подробные комментарии к колонкам выручки, предупреждающие о риске двойного счета. - обновлены DAGи bookings_dm_ddl и bookings_to_gp_dm для включения витрины в общий пайплайн. - Проверка: - визуальный аудит SQL-кода на предмет использования airport_bk и корректной агрегации по ролям. - наличие DQ-инварианта total_passengers = departures + arrivals. - верификация блока UPDATE: теперь обновляются и денормализованные атрибуты (city, airport_bk).
2026-03-04 22:19:06 +03:00
parent a06b52c38d
commit f68b055b00
5 changed files with 251 additions and 9 deletions
@@ -0,0 +1,49 @@
+-- DQ проверки для витрины dm.airport_traffic.
+--
+-- Учебные цели:
+-- 1. Проверка арифметических инвариантов (сумма частей должна быть равна целому).
+-- 2. Валидация уникальности составного ключа (зерна).
+
+DO $$
+DECLARE
+    row_count INTEGER;
+    duplicate_count INTEGER;
+    invalid_total_count INTEGER;
+    negative_metrics_count INTEGER;
+BEGIN
+    -- 1. Проверка на наполненность
+    SELECT COUNT(*) INTO row_count FROM dm.airport_traffic;
+    IF row_count = 0 THEN
+        RAISE EXCEPTION 'DQ Error: Таблица dm.airport_traffic пуста.';
+    END IF;
+
+    -- 2. Проверка на уникальность (зерно - traffic_date + airport_sk)
+    SELECT COUNT(*) INTO duplicate_count
+    FROM (
+        SELECT traffic_date, airport_sk FROM dm.airport_traffic
+        GROUP BY traffic_date, airport_sk HAVING COUNT(*) > 1
+    ) q;
+    IF duplicate_count > 0 THEN
+        RAISE EXCEPTION 'DQ Error: В dm.airport_traffic обнаружены дубликаты по (date, airport_sk) (% шт).', duplicate_count;
+    END IF;
+
+    -- 3. Проверка инварианта total = departures + arrivals
+    SELECT COUNT(*) INTO invalid_total_count
+    FROM dm.airport_traffic
+    WHERE total_passengers != (departures_passengers + arrivals_passengers);
+
+    IF invalid_total_count > 0 THEN
+        RAISE EXCEPTION 'DQ Error: В dm.airport_traffic нарушен инвариант total_passengers = dep + arr (% строк).', invalid_total_count;
+    END IF;
+
+    -- 4. Проверка на отрицательные значения
+    SELECT COUNT(*) INTO negative_metrics_count
+    FROM dm.airport_traffic
+    WHERE departures_flights < 0 OR arrivals_flights < 0 OR departures_revenue < 0 OR arrivals_revenue < 0;
+
+    IF negative_metrics_count > 0 THEN
+        RAISE EXCEPTION 'DQ Error: В dm.airport_traffic обнаружены отрицательные метрики (% строк).', negative_metrics_count;
+    END IF;
+
+    RAISE NOTICE 'DQ Success: dm.airport_traffic успешно прошла все проверки (% строк).', row_count;
+END $$;