feat(sql): нормализация JSON-полей в ODS для airports и airplanes
- Зачем:
- источник хранит мультиязычные названия как JSON ({"en": "...", "ru": "..."}),
- для упрощения downstream-логики (DDS/DM) нужны чистые строки на одном языке.
- Что:
- добавлен парсинг JSON с извлечением поля 'ru' в sql/ods/airports_load.sql
(airport_name, city, country).
- добавлен парсинг JSON с извлечением поля 'ru' в sql/ods/airplanes_load.sql
(model).
- обновлена документация docs/internal/bookings_ods_design.md с примечаниями
о нормализации.
- обновлены тестовые данные в tests/test_ods_snapshot_integration.py для
соответствия JSON-формату STG.
- Проверка:
- uv run make test (15 passed).
- SELECT airport_name FROM ods.airports → "Аль-Баха" (вместо JSON).
This commit is contained in:
@@ -1,10 +1,13 @@
|
||||
-- Загрузка ODS по airplanes: SCD1 (UPDATE изменившихся + INSERT новых).
|
||||
|
||||
-- Statement 1: UPDATE существующих строк.
|
||||
-- Нормализация JSON: извлекаем русское название модели из поля с мультиязычностью.
|
||||
-- Почему: источник хранит переводы как {"en": "...", "ru": "..."},
|
||||
-- в ODS оставляем только один язык для упрощения downstream-логики.
|
||||
WITH src AS (
|
||||
SELECT
|
||||
s.airplane_code,
|
||||
s.model,
|
||||
s.model::json->>'ru' AS model,
|
||||
NULLIF(s.range, '')::INTEGER AS range_km,
|
||||
NULLIF(s.speed, '')::INTEGER AS speed_kmh,
|
||||
ROW_NUMBER() OVER (
|
||||
@@ -30,10 +33,11 @@ WHERE s.rn = 1
|
||||
);
|
||||
|
||||
-- Statement 2: INSERT новых строк.
|
||||
-- Нормализация JSON: извлекаем русское название модели из поля с мультиязычностью.
|
||||
WITH src AS (
|
||||
SELECT
|
||||
s.airplane_code,
|
||||
s.model,
|
||||
s.model::json->>'ru' AS model,
|
||||
NULLIF(s.range, '')::INTEGER AS range_km,
|
||||
NULLIF(s.speed, '')::INTEGER AS speed_kmh,
|
||||
ROW_NUMBER() OVER (
|
||||
|
||||
@@ -1,12 +1,15 @@
|
||||
-- Загрузка ODS по airports: SCD1 (UPDATE изменившихся + INSERT новых).
|
||||
|
||||
-- Statement 1: UPDATE существующих строк.
|
||||
-- Нормализация JSON: извлекаем русские названия из полей с мультиязычностью.
|
||||
-- Почему: источник хранит переводы как {"en": "...", "ru": "..."},
|
||||
-- в ODS оставляем только один язык для упрощения downstream-логики.
|
||||
WITH src AS (
|
||||
SELECT
|
||||
s.airport_code,
|
||||
s.airport_name,
|
||||
s.city,
|
||||
s.country,
|
||||
s.airport_name::json->>'ru' AS airport_name,
|
||||
s.city::json->>'ru' AS city,
|
||||
s.country::json->>'ru' AS country,
|
||||
s.coordinates,
|
||||
s.timezone,
|
||||
ROW_NUMBER() OVER (
|
||||
@@ -36,12 +39,13 @@ WHERE s.rn = 1
|
||||
);
|
||||
|
||||
-- Statement 2: INSERT новых строк.
|
||||
-- Нормализация JSON: извлекаем русские названия из полей с мультиязычностью.
|
||||
WITH src AS (
|
||||
SELECT
|
||||
s.airport_code,
|
||||
s.airport_name,
|
||||
s.city,
|
||||
s.country,
|
||||
s.airport_name::json->>'ru' AS airport_name,
|
||||
s.city::json->>'ru' AS city,
|
||||
s.country::json->>'ru' AS country,
|
||||
s.coordinates,
|
||||
s.timezone,
|
||||
ROW_NUMBER() OVER (
|
||||
|
||||
Reference in New Issue
Block a user