feat(dds): денормализовано измерение dim_routes и упрощена витрина route_performance
- Зачем: - улучшение производительности аналитических запросов и упрощение витрин согласно принципам Kimball Star Schema. - Что: - в dds.dim_routes добавлены денормализованные поля городов и моделей самолетов. - в скрипт загрузки dim_routes_load.sql добавлена фаза refresh для актуализации атрибутов. - загрузка dm.route_performance упрощена до 1 JOIN к измерению маршрутов. - обновлен DAG bookings_to_gp_dds и smoke-тесты структуры графа. - в документации (db_schema.md) отражены денормализация и lineage версий. - в dim_routes_load.sql исправлено затирание _load_id при refresh исторических версий. - Проверка: - make test (smoke-тесты структуры DAG проходят успешно).
This commit is contained in:
@@ -5,12 +5,24 @@ CREATE SCHEMA IF NOT EXISTS dds;
|
||||
-- Тип таблицы: Heap (стандартная).
|
||||
-- Обоснование: Необходим row-level UPDATE для реализации SCD2 (закрытие версий).
|
||||
-- Использование Append-Only при частых обновлениях приводит к раздуванию (bloat) таблицы.
|
||||
--
|
||||
-- Учебный комментарий (Kimball Star Schema):
|
||||
-- Измерение должно быть «самодостаточным»: один JOIN к dim_routes —
|
||||
-- и аналитик видит маршрут, города, модель самолёта и кол-во мест.
|
||||
-- Денормализованные атрибуты (departure_city, arrival_city, airplane_model, total_seats)
|
||||
-- НЕ участвуют в hashdiff. Версия SCD2 фиксирует изменения атрибутов маршрута
|
||||
-- (аэропорт, самолёт, расписание). Если изменится название города —
|
||||
-- обновим отдельным refresh-шагом, не создавая новую версию.
|
||||
CREATE TABLE IF NOT EXISTS dds.dim_routes (
|
||||
route_sk INTEGER NOT NULL,
|
||||
route_bk TEXT NOT NULL,
|
||||
departure_airport TEXT NOT NULL,
|
||||
arrival_airport TEXT NOT NULL,
|
||||
airplane_code TEXT NOT NULL,
|
||||
departure_city TEXT NOT NULL,
|
||||
arrival_city TEXT NOT NULL,
|
||||
airplane_model TEXT NOT NULL,
|
||||
total_seats INTEGER NOT NULL,
|
||||
days_of_week TEXT,
|
||||
departure_time TIME,
|
||||
duration INTERVAL,
|
||||
|
||||
@@ -128,6 +128,13 @@ BEGIN
|
||||
OR arrival_airport = ''
|
||||
OR airplane_code IS NULL
|
||||
OR airplane_code = ''
|
||||
OR departure_city IS NULL
|
||||
OR departure_city = ''
|
||||
OR arrival_city IS NULL
|
||||
OR arrival_city = ''
|
||||
OR airplane_model IS NULL
|
||||
OR airplane_model = ''
|
||||
OR total_seats IS NULL
|
||||
OR hashdiff IS NULL
|
||||
OR hashdiff = ''
|
||||
OR valid_from IS NULL
|
||||
@@ -146,4 +153,5 @@ BEGIN
|
||||
RAISE NOTICE
|
||||
'DQ PASSED: dds.dim_routes ок, строк=% (версий)',
|
||||
v_row_count;
|
||||
|
||||
END $$;
|
||||
|
||||
@@ -62,6 +62,10 @@ INSERT INTO dds.dim_routes (
|
||||
departure_airport,
|
||||
arrival_airport,
|
||||
airplane_code,
|
||||
departure_city,
|
||||
arrival_city,
|
||||
airplane_model,
|
||||
total_seats,
|
||||
days_of_week,
|
||||
departure_time,
|
||||
duration,
|
||||
@@ -79,6 +83,10 @@ SELECT
|
||||
s.departure_airport,
|
||||
s.arrival_airport,
|
||||
s.airplane_code,
|
||||
dep.city,
|
||||
arr.city,
|
||||
air.model,
|
||||
air.total_seats,
|
||||
s.days_of_week,
|
||||
s.departure_time,
|
||||
s.duration,
|
||||
@@ -97,6 +105,9 @@ SELECT
|
||||
'{{ run_id }}',
|
||||
now()
|
||||
FROM tmp_routes_src AS s
|
||||
LEFT JOIN dds.dim_airports AS dep ON s.departure_airport = dep.airport_bk
|
||||
LEFT JOIN dds.dim_airports AS arr ON s.arrival_airport = arr.airport_bk
|
||||
LEFT JOIN dds.dim_airplanes AS air ON s.airplane_code = air.airplane_bk
|
||||
WHERE s.rn = 1
|
||||
AND NOT EXISTS (
|
||||
SELECT 1
|
||||
@@ -106,4 +117,28 @@ WHERE s.rn = 1
|
||||
AND d.hashdiff = s.hashdiff
|
||||
);
|
||||
|
||||
-- Фаза 3: Обновление денормализованных атрибутов (refresh).
|
||||
-- Нужна для SCD1-изменений в dim_airports/dim_airplanes (напр. переименование города).
|
||||
-- Обновляем все версии (и текущие, и исторические), т.к. измерения SCD1.
|
||||
-- При этом мы не перезаписываем _load_id и _load_ts, чтобы не размывать lineage версий.
|
||||
UPDATE dds.dim_routes AS d
|
||||
SET departure_city = dep.city,
|
||||
arrival_city = arr.city,
|
||||
airplane_model = air.model,
|
||||
total_seats = air.total_seats,
|
||||
updated_at = now()
|
||||
FROM dds.dim_airports AS dep,
|
||||
dds.dim_airports AS arr,
|
||||
dds.dim_airplanes AS air
|
||||
WHERE dep.airport_bk = d.departure_airport
|
||||
AND arr.airport_bk = d.arrival_airport
|
||||
AND air.airplane_bk = d.airplane_code
|
||||
AND (
|
||||
d.departure_city IS DISTINCT FROM dep.city
|
||||
OR d.arrival_city IS DISTINCT FROM arr.city
|
||||
OR d.airplane_model IS DISTINCT FROM air.model
|
||||
OR d.total_seats IS DISTINCT FROM air.total_seats
|
||||
);
|
||||
|
||||
ANALYZE dds.dim_routes;
|
||||
|
||||
|
||||
@@ -29,7 +29,8 @@ JOIN dds.dim_routes r ON f.route_sk = r.route_sk
|
||||
JOIN dds.dim_calendar cal ON f.calendar_sk = cal.calendar_sk
|
||||
GROUP BY r.route_bk;
|
||||
|
||||
-- Шаг 3: Объединяем агрегаты с АКТУАЛЬНЫМИ атрибутами маршрута, аэропортов и самолетов.
|
||||
-- Шаг 3: Объединяем агрегаты с АКТУАЛЬНЫМИ атрибутами маршрута.
|
||||
-- Учебный комментарий: Благодаря денормализации dim_routes — один JOIN вместо четырёх.
|
||||
INSERT INTO dm.route_performance (
|
||||
route_bk,
|
||||
route_sk,
|
||||
@@ -54,13 +55,13 @@ INSERT INTO dm.route_performance (
|
||||
SELECT
|
||||
m.route_bk,
|
||||
r_curr.route_sk,
|
||||
dep.airport_bk AS departure_airport_bk,
|
||||
dep.city AS departure_city,
|
||||
arr.airport_bk AS arrival_airport_bk,
|
||||
arr.city AS arrival_city,
|
||||
air.airplane_bk,
|
||||
air.model AS airplane_model,
|
||||
air.total_seats,
|
||||
r_curr.departure_airport AS departure_airport_bk,
|
||||
r_curr.departure_city,
|
||||
r_curr.arrival_airport AS arrival_airport_bk,
|
||||
r_curr.arrival_city,
|
||||
r_curr.airplane_code AS airplane_bk,
|
||||
r_curr.airplane_model,
|
||||
r_curr.total_seats,
|
||||
m.total_flights,
|
||||
m.total_tickets,
|
||||
m.total_boarded,
|
||||
@@ -70,14 +71,11 @@ SELECT
|
||||
m.avg_boarding_rate::NUMERIC(5,4),
|
||||
-- Load Factor: общее кол-во посадок / (кол-во рейсов * мест в самолете)
|
||||
ROUND(
|
||||
m.total_boarded::NUMERIC / NULLIF(m.total_flights * air.total_seats, 0),
|
||||
m.total_boarded::NUMERIC / NULLIF(m.total_flights * r_curr.total_seats, 0),
|
||||
4
|
||||
) AS avg_load_factor,
|
||||
m.first_flight_date,
|
||||
m.last_flight_date,
|
||||
'{{ run_id }}' AS _load_id
|
||||
FROM tmp_route_metrics m
|
||||
JOIN dds.dim_routes r_curr ON m.route_bk = r_curr.route_bk AND r_curr.valid_to IS NULL
|
||||
JOIN dds.dim_airports dep ON r_curr.departure_airport = dep.airport_bk
|
||||
JOIN dds.dim_airports arr ON r_curr.arrival_airport = arr.airport_bk
|
||||
JOIN dds.dim_airplanes air ON r_curr.airplane_code = air.airplane_bk;
|
||||
JOIN dds.dim_routes r_curr ON m.route_bk = r_curr.route_bk AND r_curr.valid_to IS NULL;
|
||||
|
||||
Reference in New Issue
Block a user