chore(repo): влиты изменения задачи 155
- Зачем: - ветка ETL должна учитывать новую витрину `purchase_vs_orders` из `main`. - Что: - `origin/main` влит без переписывания истории опубликованного PR; - `dm_transform` теперь собирает третью витрину внутри общего конвейера. - Проверка: - `make config-test`, `make lint`; - `generator`: `make lint`, `make typecheck`, `make test` — 429 тестов; - `make rebuild-storage`, `make smoke`, `make check-clickhouse`, `make check-services`; - импорт DAG без ошибок, `purchase_vs_orders` заполнена.
This commit is contained in:
commit
cec11edaf3
15 files changed
+391
-38
No files matched your search
+96
-4
@@ -1,8 +1,9 @@
|
||||
"""Трансформации слоя DM: сборка стендовых витрин.
|
||||
|
||||
Выручка наследует ритм заказов и заменяет дневные партиции изменяемого окна.
|
||||
Трафик наследует ретроспективность карты идентичностей и пересчитывает всю
|
||||
историю новой версией. Объем каждого прогона выводится из состояния слоев.
|
||||
Выручка наследует ритм заказов. Сверка соединяет окно заказов с прожитым
|
||||
хвостом событий. Обе заменяют дневные партиции. Трафик наследует
|
||||
ретроспективность карты идентичностей и пересчитывает всю историю новой
|
||||
версией. Объем каждого прогона выводится из состояния слоев.
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
@@ -14,12 +15,41 @@ from pathlib import Path
|
||||
from airflow.exceptions import AirflowException
|
||||
from airflow.providers.clickhousedb.hooks.clickhouse import ClickHouseHook
|
||||
from airflow.providers.common.sql.operators.sql import SQLExecuteQueryOperator
|
||||
from airflow.sdk import dag, task, task_group
|
||||
from airflow.sdk import Variable, dag, task, task_group
|
||||
|
||||
START_DATE = datetime.datetime(2026, 1, 1, tzinfo=datetime.UTC)
|
||||
|
||||
SQL_ROOT = Path("/opt/airflow/sql")
|
||||
CLICKHOUSE_CONNECTION = "clickhouse_default"
|
||||
# Та же ось модельного времени, что у DDS. Общего модуля у дагов нет
|
||||
# намеренно: связь держит переменная Airflow, а не импорт одного дага другим.
|
||||
WORLD_POSITION = "world_position"
|
||||
|
||||
|
||||
def _world_position() -> int:
|
||||
"""Позиция мира для границы прожитых событий сверки.
|
||||
|
||||
Причина отдельного чтения переменной разобрана у одноименной функции в
|
||||
``dds_transform.py``.
|
||||
"""
|
||||
raw_position = Variable.get(WORLD_POSITION, default=None)
|
||||
if raw_position is None:
|
||||
raise AirflowException(
|
||||
"мир еще не создан: выполните make up и дождитесь world_initialize"
|
||||
)
|
||||
try:
|
||||
position = int(raw_position)
|
||||
except (TypeError, ValueError) as error:
|
||||
raise AirflowException(
|
||||
f"world_position={raw_position!r} не является номером дня; "
|
||||
"выполните make rebuild-storage"
|
||||
) from error
|
||||
if position < 1:
|
||||
raise AirflowException(
|
||||
f"мир не готов: world_position={position}; "
|
||||
"выполните make up или make rebuild-storage"
|
||||
)
|
||||
return position
|
||||
|
||||
|
||||
def _days(first_day: datetime.date, last_day: datetime.date) -> list[str]:
|
||||
@@ -46,6 +76,9 @@ def replacements(scope: dict[str, object]) -> list[dict[str, object]]:
|
||||
start_date=START_DATE,
|
||||
is_paused_upon_creation=False,
|
||||
max_active_runs=1,
|
||||
# Каждая задача LocalExecutor - отдельный процесс. Четыре процесса уже
|
||||
# дали SIGKILL при лимите scheduler 640 МиБ; три - измеренный потолок DDS.
|
||||
max_active_tasks=3,
|
||||
template_searchpath=str(SQL_ROOT),
|
||||
tags=["dm"],
|
||||
)
|
||||
@@ -114,6 +147,65 @@ def dm_transform():
|
||||
|
||||
revenue_daily()
|
||||
|
||||
@task_group(group_id="purchase_vs_orders")
|
||||
def purchase_vs_orders():
|
||||
"""Сверка: окно заказов, прожитый хвост и предварительные дни."""
|
||||
|
||||
@task
|
||||
def scope() -> dict[str, object]:
|
||||
"""Спросить у обоих источников, какие дни пересобрать."""
|
||||
query = (SQL_ROOT / "dm" / "purchase_vs_orders_scope.sql").read_text(
|
||||
encoding="utf-8"
|
||||
)
|
||||
hook = ClickHouseHook(clickhouse_conn_id=CLICKHOUSE_CONNECTION)
|
||||
row = hook.get_first(query, parameters={"position": _world_position()})
|
||||
if row is None:
|
||||
raise AirflowException(
|
||||
"нет принятого слепка заказов или прожитых покупок; "
|
||||
"дождитесь источников и сначала выполните dds_transform"
|
||||
)
|
||||
first_day, last_day = row
|
||||
days = _days(first_day, last_day)
|
||||
logging.info(
|
||||
"объем пересборки: %s … %s, дней %d",
|
||||
first_day,
|
||||
last_day,
|
||||
len(days),
|
||||
)
|
||||
return {
|
||||
"first_day": first_day.isoformat(),
|
||||
"last_day": last_day.isoformat(),
|
||||
"days": days,
|
||||
}
|
||||
|
||||
days = scope()
|
||||
|
||||
rebuild = SQLExecuteQueryOperator(
|
||||
task_id="rebuild",
|
||||
conn_id=CLICKHOUSE_CONNECTION,
|
||||
sql="dm/purchase_vs_orders_rebuild.sql",
|
||||
parameters={
|
||||
"load_id": "{{ run_id }}",
|
||||
"first_day": days["first_day"],
|
||||
"last_day": days["last_day"],
|
||||
},
|
||||
split_statements=True,
|
||||
do_xcom_push=False,
|
||||
)
|
||||
|
||||
replace = SQLExecuteQueryOperator.partial(
|
||||
task_id="replace",
|
||||
conn_id=CLICKHOUSE_CONNECTION,
|
||||
sql="dm/purchase_vs_orders_replace.sql",
|
||||
do_xcom_push=False,
|
||||
# Причина единицы разобрана у revenue_daily.replace выше.
|
||||
max_active_tis_per_dag=1,
|
||||
).expand_kwargs(replacements(days))
|
||||
|
||||
rebuild >> replace
|
||||
|
||||
purchase_vs_orders()
|
||||
|
||||
SQLExecuteQueryOperator(
|
||||
task_id="daily_traffic",
|
||||
conn_id=CLICKHOUSE_CONNECTION,
|
||||
|
||||
Reference in new issue
Block a user