feat(sql): нормализация JSON-полей в ODS для airports и airplanes

- Зачем:
  - источник хранит мультиязычные названия как JSON ({"en": "...", "ru": "..."}),
  - для упрощения downstream-логики (DDS/DM) нужны чистые строки на одном языке.
- Что:
  - добавлен парсинг JSON с извлечением поля 'ru' в sql/ods/airports_load.sql
    (airport_name, city, country).
  - добавлен парсинг JSON с извлечением поля 'ru' в sql/ods/airplanes_load.sql
    (model).
  - обновлена документация docs/internal/bookings_ods_design.md с примечаниями
    о нормализации.
  - обновлены тестовые данные в tests/test_ods_snapshot_integration.py для
    соответствия JSON-формату STG.
- Проверка:
  - uv run make test (15 passed).
  - SELECT airport_name FROM ods.airports → "Аль-Баха" (вместо JSON).
This commit is contained in:
2026-02-28 22:13:11 +03:00
parent 7d18b3fe5c
commit 5efb833837
4 changed files with 37 additions and 17 deletions
+6 -2
View File
@@ -1,10 +1,13 @@
-- Загрузка ODS по airplanes: SCD1 (UPDATE изменившихся + INSERT новых).
-- Statement 1: UPDATE существующих строк.
-- Нормализация JSON: извлекаем русское название модели из поля с мультиязычностью.
-- Почему: источник хранит переводы как {"en": "...", "ru": "..."},
-- в ODS оставляем только один язык для упрощения downstream-логики.
WITH src AS (
SELECT
s.airplane_code,
s.model,
s.model::json->>'ru' AS model,
NULLIF(s.range, '')::INTEGER AS range_km,
NULLIF(s.speed, '')::INTEGER AS speed_kmh,
ROW_NUMBER() OVER (
@@ -30,10 +33,11 @@ WHERE s.rn = 1
);
-- Statement 2: INSERT новых строк.
-- Нормализация JSON: извлекаем русское название модели из поля с мультиязычностью.
WITH src AS (
SELECT
s.airplane_code,
s.model,
s.model::json->>'ru' AS model,
NULLIF(s.range, '')::INTEGER AS range_km,
NULLIF(s.speed, '')::INTEGER AS speed_kmh,
ROW_NUMBER() OVER (
+10 -6
View File
@@ -1,12 +1,15 @@
-- Загрузка ODS по airports: SCD1 (UPDATE изменившихся + INSERT новых).
-- Statement 1: UPDATE существующих строк.
-- Нормализация JSON: извлекаем русские названия из полей с мультиязычностью.
-- Почему: источник хранит переводы как {"en": "...", "ru": "..."},
-- в ODS оставляем только один язык для упрощения downstream-логики.
WITH src AS (
SELECT
s.airport_code,
s.airport_name,
s.city,
s.country,
s.airport_name::json->>'ru' AS airport_name,
s.city::json->>'ru' AS city,
s.country::json->>'ru' AS country,
s.coordinates,
s.timezone,
ROW_NUMBER() OVER (
@@ -36,12 +39,13 @@ WHERE s.rn = 1
);
-- Statement 2: INSERT новых строк.
-- Нормализация JSON: извлекаем русские названия из полей с мультиязычностью.
WITH src AS (
SELECT
s.airport_code,
s.airport_name,
s.city,
s.country,
s.airport_name::json->>'ru' AS airport_name,
s.city::json->>'ru' AS city,
s.country::json->>'ru' AS country,
s.coordinates,
s.timezone,
ROW_NUMBER() OVER (