feat(sql): нормализация JSON-полей в ODS для airports и airplanes
- Зачем:
- источник хранит мультиязычные названия как JSON ({"en": "...", "ru": "..."}),
- для упрощения downstream-логики (DDS/DM) нужны чистые строки на одном языке.
- Что:
- добавлен парсинг JSON с извлечением поля 'ru' в sql/ods/airports_load.sql
(airport_name, city, country).
- добавлен парсинг JSON с извлечением поля 'ru' в sql/ods/airplanes_load.sql
(model).
- обновлена документация docs/internal/bookings_ods_design.md с примечаниями
о нормализации.
- обновлены тестовые данные в tests/test_ods_snapshot_integration.py для
соответствия JSON-формату STG.
- Проверка:
- uv run make test (15 passed).
- SELECT airport_name FROM ods.airports → "Аль-Баха" (вместо JSON).
This commit is contained in:
@@ -1,10 +1,13 @@
|
||||
-- Загрузка ODS по airplanes: SCD1 (UPDATE изменившихся + INSERT новых).
|
||||
|
||||
-- Statement 1: UPDATE существующих строк.
|
||||
-- Нормализация JSON: извлекаем русское название модели из поля с мультиязычностью.
|
||||
-- Почему: источник хранит переводы как {"en": "...", "ru": "..."},
|
||||
-- в ODS оставляем только один язык для упрощения downstream-логики.
|
||||
WITH src AS (
|
||||
SELECT
|
||||
s.airplane_code,
|
||||
s.model,
|
||||
s.model::json->>'ru' AS model,
|
||||
NULLIF(s.range, '')::INTEGER AS range_km,
|
||||
NULLIF(s.speed, '')::INTEGER AS speed_kmh,
|
||||
ROW_NUMBER() OVER (
|
||||
@@ -30,10 +33,11 @@ WHERE s.rn = 1
|
||||
);
|
||||
|
||||
-- Statement 2: INSERT новых строк.
|
||||
-- Нормализация JSON: извлекаем русское название модели из поля с мультиязычностью.
|
||||
WITH src AS (
|
||||
SELECT
|
||||
s.airplane_code,
|
||||
s.model,
|
||||
s.model::json->>'ru' AS model,
|
||||
NULLIF(s.range, '')::INTEGER AS range_km,
|
||||
NULLIF(s.speed, '')::INTEGER AS speed_kmh,
|
||||
ROW_NUMBER() OVER (
|
||||
|
||||
Reference in New Issue
Block a user