feat(dds): реализован слой dds для bookings

- Зачем:
  - подготовлен учебный Star Schema слой для перехода от ODS к аналитике и витринам.
- Что:
  - добавлены 21 SQL-файл для DDS (DDL/LOAD/DQ) с SCD1/SCD2 и фактом `fact_flight_sales`.
  - добавлены DAG `bookings_dds_ddl` и `bookings_to_gp_dds`, а также smoke-тесты структуры DAG.
  - обновлены `sql/ddl_gp.sql` и документация (`README`, `docs/*`, `db_schema`) под поток `stg -> ods -> dds`.
- Проверка:
  - make test.
This commit is contained in:
2026-02-28 22:13:11 +03:00
parent fc798aadd1
commit e592b35461
30 changed files with 1856 additions and 15 deletions
+87
View File
@@ -0,0 +1,87 @@
-- DQ для DDS dim_calendar.
DO $$
DECLARE
v_row_count BIGINT;
v_dup_sk BIGINT;
v_dup_date BIGINT;
v_null_count BIGINT;
v_missing_flight_dates BIGINT;
BEGIN
-- Таблица должна быть достаточно заполнена.
SELECT COUNT(*)
INTO v_row_count
FROM dds.dim_calendar;
IF v_row_count < 1000 THEN
RAISE EXCEPTION
'DQ FAILED: dds.dim_calendar содержит слишком мало строк: %',
v_row_count;
END IF;
-- Нет дублей по surrogate key.
SELECT COUNT(*) - COUNT(DISTINCT calendar_sk)
INTO v_dup_sk
FROM dds.dim_calendar;
IF v_dup_sk <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: в dds.dim_calendar найдены дубликаты calendar_sk: %',
v_dup_sk;
END IF;
-- Нет дублей по business key (date_actual).
SELECT COUNT(*) - COUNT(DISTINCT date_actual)
INTO v_dup_date
FROM dds.dim_calendar;
IF v_dup_date <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: в dds.dim_calendar найдены дубликаты date_actual: %',
v_dup_date;
END IF;
-- Обязательные поля не NULL.
SELECT COUNT(*)
INTO v_null_count
FROM dds.dim_calendar
WHERE calendar_sk IS NULL
OR date_actual IS NULL
OR year_actual IS NULL
OR month_actual IS NULL
OR day_actual IS NULL
OR day_of_week IS NULL
OR day_name IS NULL
OR day_name = ''
OR is_weekend IS NULL;
IF v_null_count <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: в dds.dim_calendar найдены NULL/пустые обязательные поля: %',
v_null_count;
END IF;
-- Календарь покрывает даты вылета из ODS (где scheduled_departure не NULL).
SELECT COUNT(*)
INTO v_missing_flight_dates
FROM (
SELECT DISTINCT f.scheduled_departure::DATE AS departure_date
FROM ods.flights AS f
WHERE f.scheduled_departure IS NOT NULL
) AS src
WHERE NOT EXISTS (
SELECT 1
FROM dds.dim_calendar AS c
WHERE c.date_actual = src.departure_date
);
IF v_missing_flight_dates <> 0 THEN
RAISE EXCEPTION
'DQ FAILED: dds.dim_calendar не покрывает даты вылета из ods.flights: %',
v_missing_flight_dates;
END IF;
RAISE NOTICE
'DQ PASSED: dds.dim_calendar ок, строк=%',
v_row_count;
END $$;