feat(ods): реализован ODS слой и DAG загрузки из STG

- Зачем:
  - подготовлена учебная реализация ODS слоя с типизацией, UPSERT и DQ, чтобы продолжить работу от STG к DDS/DM.
- Что:
  - добавлены SQL-скрипты `sql/ods/*_ddl.sql`, `sql/ods/*_load.sql`, `sql/ods/*_dq.sql` для 9 сущностей bookings.
  - добавлены DAG `bookings_ods_ddl` и `bookings_to_gp_ods`, а также smoke-тесты для новых графов.
  - ODS DDL интегрирован в `sql/ddl_gp.sql`; документация и план обновлены под единый запуск через `make ddl-gp`.
- Проверка:
  - `make test`.
  - `make ddl-gp`.
This commit is contained in:
2026-02-28 22:13:11 +03:00
parent 2d629b6e80
commit 85fea19818
37 changed files with 2704 additions and 27 deletions
+38
View File
@@ -0,0 +1,38 @@
from __future__ import annotations
from pathlib import Path
PROJECT_ROOT = Path(__file__).resolve().parents[1]
SNAPSHOT_ENTITIES = ("airports", "airplanes", "routes", "seats")
def _read(path: str) -> str:
return (PROJECT_ROOT / path).read_text(encoding="utf-8")
def test_snapshot_load_scripts_sync_deleted_keys() -> None:
"""Snapshot-таблицы в ODS должны удалять ключи, отсутствующие в текущем батче."""
for entity in SNAPSHOT_ENTITIES:
sql = _read(f"sql/ods/{entity}_load.sql")
assert f"DELETE FROM ods.{entity} AS o" in sql
assert "WITH src_keys AS (" in sql
assert "WHERE NOT EXISTS (" in sql
def test_snapshot_dq_checks_extra_keys() -> None:
"""DQ snapshot-таблиц должен ловить лишние ключи в ODS относительно текущего батча STG."""
for entity in SNAPSHOT_ENTITIES:
sql = _read(f"sql/ods/{entity}_dq.sql")
assert "v_extra_keys_count" in sql
assert "найдены лишние ключи" in sql
def test_ods_batch_resolver_uses_consistent_snapshot_batches() -> None:
"""Резолвер батча должен искать batch_id, общий для всех snapshot-таблиц STG."""
dag_code = _read("airflow/dags/bookings_to_gp_ods.py")
for table_name in ("stg.airports", "stg.airplanes", "stg.routes", "stg.seats"):
assert table_name in dag_code
assert "INTERSECT" in dag_code
assert "candidate_batches" in dag_code