feat(ods): реализован ODS слой и DAG загрузки из STG
- Зачем: - подготовлена учебная реализация ODS слоя с типизацией, UPSERT и DQ, чтобы продолжить работу от STG к DDS/DM. - Что: - добавлены SQL-скрипты `sql/ods/*_ddl.sql`, `sql/ods/*_load.sql`, `sql/ods/*_dq.sql` для 9 сущностей bookings. - добавлены DAG `bookings_ods_ddl` и `bookings_to_gp_ods`, а также smoke-тесты для новых графов. - ODS DDL интегрирован в `sql/ddl_gp.sql`; документация и план обновлены под единый запуск через `make ddl-gp`. - Проверка: - `make test`. - `make ddl-gp`.
This commit is contained in:
@@ -0,0 +1,38 @@
|
||||
from __future__ import annotations
|
||||
|
||||
from pathlib import Path
|
||||
|
||||
PROJECT_ROOT = Path(__file__).resolve().parents[1]
|
||||
SNAPSHOT_ENTITIES = ("airports", "airplanes", "routes", "seats")
|
||||
|
||||
|
||||
def _read(path: str) -> str:
|
||||
return (PROJECT_ROOT / path).read_text(encoding="utf-8")
|
||||
|
||||
|
||||
def test_snapshot_load_scripts_sync_deleted_keys() -> None:
|
||||
"""Snapshot-таблицы в ODS должны удалять ключи, отсутствующие в текущем батче."""
|
||||
for entity in SNAPSHOT_ENTITIES:
|
||||
sql = _read(f"sql/ods/{entity}_load.sql")
|
||||
assert f"DELETE FROM ods.{entity} AS o" in sql
|
||||
assert "WITH src_keys AS (" in sql
|
||||
assert "WHERE NOT EXISTS (" in sql
|
||||
|
||||
|
||||
def test_snapshot_dq_checks_extra_keys() -> None:
|
||||
"""DQ snapshot-таблиц должен ловить лишние ключи в ODS относительно текущего батча STG."""
|
||||
for entity in SNAPSHOT_ENTITIES:
|
||||
sql = _read(f"sql/ods/{entity}_dq.sql")
|
||||
assert "v_extra_keys_count" in sql
|
||||
assert "найдены лишние ключи" in sql
|
||||
|
||||
|
||||
def test_ods_batch_resolver_uses_consistent_snapshot_batches() -> None:
|
||||
"""Резолвер батча должен искать batch_id, общий для всех snapshot-таблиц STG."""
|
||||
dag_code = _read("airflow/dags/bookings_to_gp_ods.py")
|
||||
|
||||
for table_name in ("stg.airports", "stg.airplanes", "stg.routes", "stg.seats"):
|
||||
assert table_name in dag_code
|
||||
|
||||
assert "INTERSECT" in dag_code
|
||||
assert "candidate_batches" in dag_code
|
||||
Reference in New Issue
Block a user