ddmitry/airflow-greenplum
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

feat(sql): нормализация JSON-полей в ODS для airports и airplanes

Browse Source 
- Зачем:
  - источник хранит мультиязычные названия как JSON ({"en": "...", "ru": "..."}),
  - для упрощения downstream-логики (DDS/DM) нужны чистые строки на одном языке.
- Что:
  - добавлен парсинг JSON с извлечением поля 'ru' в sql/ods/airports_load.sql
    (airport_name, city, country).
  - добавлен парсинг JSON с извлечением поля 'ru' в sql/ods/airplanes_load.sql
    (model).
  - обновлена документация docs/internal/bookings_ods_design.md с примечаниями
    о нормализации.
  - обновлены тестовые данные в tests/test_ods_snapshot_integration.py для
    соответствия JSON-формату STG.
- Проверка:
  - uv run make test (15 passed).
  - SELECT airport_name FROM ods.airports → "Аль-Баха" (вместо JSON).
This commit is contained in:
ddadmin
2026-02-28 22:13:11 +03:00
parent 7d18b3fe5c
commit 5efb833837
4 changed files with 37 additions and 17 deletions
Download Patch File Download Diff File Expand all files Collapse all files
docs/internal/bookings_ods_design.md
+15 -4
View File
@@ -96,9 +96,9 @@ ODS в учебном проекте — это:
#### `ods.airports`
```sql
airport_code TEXT NOT NULL
airport_name TEXT NOT NULL
city TEXT NOT NULL
country TEXT NOT NULL
airport_name TEXT NOT NULL -- русское название, извлечено из JSON (поле 'ru')
city TEXT NOT NULL -- русское название, извлечено из JSON (поле 'ru')
country TEXT NOT NULL -- русское название, извлечено из JSON (поле 'ru')
coordinates TEXT
timezone TEXT NOT NULL
_load_id TEXT NOT NULL
@@ -106,10 +106,17 @@ _load_ts TIMESTAMP NOT NULL DEFAULT now()
DISTRIBUTED BY (airport_code)
```
> **Примечание о нормализации JSON**: Источник (`bookings.airports_data`) хранит
> мультиязычные поля (`airport_name`, `city`, `country`) как JSON-объекты вида
> `{"en": "...", "ru": "..."}`. На уровне ODS выполняется нормализация:
> извлекается только русский вариант (`->>'ru'`). Это упрощает downstream-логику
> (DDS/DM не нужно знать о внутренней структуре JSON) и соответствует принципу
> "типизированные данные" на уровне ODS.
#### `ods.airplanes`
```sql
airplane_code TEXT NOT NULL
model TEXT NOT NULL
model TEXT NOT NULL -- русское название модели, извлечено из JSON (поле 'ru')
range_km INTEGER
speed_kmh INTEGER
_load_id TEXT NOT NULL
@@ -117,6 +124,10 @@ _load_ts TIMESTAMP NOT NULL DEFAULT now()
DISTRIBUTED BY (airplane_code)
```
> **Примечание о нормализации JSON**: Источник (`bookings.aircrafts_data`) хранит
> поле `model` как JSON-объект `{"en": "...", "ru": "..."}`. На уровне ODS
> извлекается только русский вариант (`->>'ru'`) для консистентности с `airports`.
#### `ods.routes`
```sql
route_no TEXT NOT NULL
sql/ods/airplanes_load.sql
+6 -2
View File
@@ -1,10 +1,13 @@
-- Загрузка ODS по airplanes: SCD1 (UPDATE изменившихся + INSERT новых).
-- Statement 1: UPDATE существующих строк.
-- Нормализация JSON: извлекаем русское название модели из поля с мультиязычностью.
-- Почему: источник хранит переводы как {"en": "...", "ru": "..."},
-- в ODS оставляем только один язык для упрощения downstream-логики.
WITH src AS (
SELECT
s.airplane_code,
s.model,
s.model::json->>'ru' AS model,
NULLIF(s.range, '')::INTEGER AS range_km,
NULLIF(s.speed, '')::INTEGER AS speed_kmh,
ROW_NUMBER() OVER (
@@ -30,10 +33,11 @@ WHERE s.rn = 1
);
-- Statement 2: INSERT новых строк.
-- Нормализация JSON: извлекаем русское название модели из поля с мультиязычностью.
WITH src AS (
SELECT
s.airplane_code,
s.model,
s.model::json->>'ru' AS model,
NULLIF(s.range, '')::INTEGER AS range_km,
NULLIF(s.speed, '')::INTEGER AS speed_kmh,
ROW_NUMBER() OVER (
sql/ods/airports_load.sql
+10 -6
View File
@@ -1,12 +1,15 @@
-- Загрузка ODS по airports: SCD1 (UPDATE изменившихся + INSERT новых).
-- Statement 1: UPDATE существующих строк.
-- Нормализация JSON: извлекаем русские названия из полей с мультиязычностью.
-- Почему: источник хранит переводы как {"en": "...", "ru": "..."},
-- в ODS оставляем только один язык для упрощения downstream-логики.
WITH src AS (
SELECT
s.airport_code,
s.airport_name,
s.city,
s.country,
s.airport_name::json->>'ru' AS airport_name,
s.city::json->>'ru' AS city,
s.country::json->>'ru' AS country,
s.coordinates,
s.timezone,
ROW_NUMBER() OVER (
@@ -36,12 +39,13 @@ WHERE s.rn = 1
);
-- Statement 2: INSERT новых строк.
-- Нормализация JSON: извлекаем русские названия из полей с мультиязычностью.
WITH src AS (
SELECT
s.airport_code,
s.airport_name,
s.city,
s.country,
s.airport_name::json->>'ru' AS airport_name,
s.city::json->>'ru' AS city,
s.country::json->>'ru' AS country,
s.coordinates,
s.timezone,
ROW_NUMBER() OVER (
tests/test_ods_snapshot_integration.py
+6 -5
View File
@@ -98,8 +98,8 @@ def test_snapshot_airports_contract_upsert_delete_and_dq() -> None:
airport_code, airport_name, city, country, coordinates, timezone,
src_created_at_ts, load_dttm, batch_id
) VALUES
('AAA', 'Airport A', 'City A', 'Country A', '(0,0)', 'UTC', now(), now(), 'batch_1'),
('BBB', 'Airport B', 'City B', 'Country B', '(1,1)', 'UTC', now(), now(), 'batch_1');
('AAA', '{{"en": "Airport A", "ru": "Аэропорт A"}}', '{{"en": "City A", "ru": "Город A"}}', '{{"en": "Country A", "ru": "Страна A"}}', '(0,0)', 'UTC', now(), now(), 'batch_1'),
('BBB', '{{"en": "Airport B", "ru": "Аэропорт B"}}', '{{"en": "City B", "ru": "Город B"}}', '{{"en": "Country B", "ru": "Страна B"}}', '(1,1)', 'UTC', now(), now(), 'batch_1');
"""
)
@@ -120,8 +120,8 @@ def test_snapshot_airports_contract_upsert_delete_and_dq() -> None:
airport_code, airport_name, city, country, coordinates, timezone,
src_created_at_ts, load_dttm, batch_id
) VALUES
('AAA', 'Airport A v2', 'City A', 'Country A', '(0,0)', 'UTC', now(), now(), 'batch_2'),
('CCC', 'Airport C', 'City C', 'Country C', '(2,2)', 'UTC', now(), now(), 'batch_2');
('AAA', '{{"en": "Airport A v2", "ru": "Аэропорт A v2"}}', '{{"en": "City A", "ru": "Город A"}}', '{{"en": "Country A", "ru": "Страна A"}}', '(0,0)', 'UTC', now(), now(), 'batch_2'),
('CCC', '{{"en": "Airport C", "ru": "Аэропорт C"}}', '{{"en": "City C", "ru": "Город C"}}', '{{"en": "Country C", "ru": "Страна C"}}', '(2,2)', 'UTC', now(), now(), 'batch_2');
"""
)
@@ -136,10 +136,11 @@ def test_snapshot_airports_contract_upsert_delete_and_dq() -> None:
).strip()
assert codes_batch_2 == "AAA,CCC"
# ODS теперь содержит русские названия (извлечены из JSON)
airport_a_name = _psql(
f"SELECT airport_name FROM {ods_table} WHERE airport_code = 'AAA';"
).strip()
assert airport_a_name == "Airport A v2"
assert airport_a_name == "Аэропорт A v2"
_psql(
_render_airports_sql(