fix(dq): устранено переполнение памяти проверок

- Зачем:
  - параллельный DQ выгружал деловые ключи в Python и исчерпывал 640 МиБ планировщика.
- Что:
  - четыре сверки агрегируют дневные итоги и ограниченную диагностику в ClickHouse.
  - коробка планировщика поднята до 1,5 ГиБ, локальные пределы задач удалены.
  - измерения и граница между SQL и Python записаны в документации.
- Проверка:
  - make lint, make config-test, make smoke, make check-clickhouse, make check-services.
  - полный etl_pipeline, красный и восстановительный прогоны dq_check.
This commit is contained in:
ddadmin committed 2026-08-27 11:25:19 -04:00
1 parent 26b2e5fea1
commit 54686651df
10 files changed
+295 -190

No files matched your search

-11
View File
@@ -76,10 +76,6 @@ def replacements(scope: dict[str, object]) -> list[dict[str, object]]:
start_date=START_DATE,
is_paused_upon_creation=False,
max_active_runs=1,
# Каждая задача LocalExecutor — отдельный процесс. После появления
# dq_check три одновременные сборки DM получили SIGKILL при лимите
# scheduler 640 МиБ; две оставляют запас и сохраняют параллельность.
max_active_tasks=2,
template_searchpath=str(SQL_ROOT),
tags=["dm"],
)
@@ -137,11 +133,6 @@ def dm_transform():
conn_id=CLICKHOUSE_CONNECTION,
sql="dm/revenue_daily_replace.sql",
do_xcom_push=False,
# Airflow 3 применяет этот лимит и к размноженным экземплярам
# (сверено через Context7). Каждая замена - отдельный процесс
# LocalExecutor; три разом исчерпали память контейнера scheduler,
# а самим дням параллельность ничего не дает.
max_active_tis_per_dag=1,
).expand_kwargs(replacements(days))
rebuild >> replace
@@ -199,8 +190,6 @@ def dm_transform():
conn_id=CLICKHOUSE_CONNECTION,
sql="dm/purchase_vs_orders_replace.sql",
do_xcom_push=False,
# Причина единицы разобрана у revenue_daily.replace выше.
max_active_tis_per_dag=1,
).expand_kwargs(replacements(days))
rebuild >> replace