From 30a1e9e56784831c4f29b0ee65e41536bd62f1af Mon Sep 17 00:00:00 2001 From: Dmitry Dementiev Date: Fri, 7 Aug 2026 17:39:49 +0300 Subject: [PATCH] =?UTF-8?q?docs(testing):=20=D0=BA=D0=BE=D1=80=D1=80=D0=B5?= =?UTF-8?q?=D0=BA=D1=82=D0=BD=D0=BE=D1=81=D1=82=D1=8C=20=D0=BF=D1=80=D0=BE?= =?UTF-8?q?=D1=86=D0=B5=D1=81=D1=81=D0=BE=D0=B2=20=E2=80=94=20=D0=B2=20?= =?UTF-8?q?=D0=B4=D0=B0=D0=B3=D0=B8=20DQ,=20=D0=BD=D0=B5=20=D0=B2=20=D1=86?= =?UTF-8?q?=D0=B5=D0=BB=D0=B8=20make?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - Зачем: - находка «это стоило бы проверять регулярно» решалась заново в каждом тикете и каждый раз тянулась в make check-clickhouse. У неё есть назначенный дом: даги качества данных, которые придут со следующими уровнями хранилища. - Что: - добавлен раздел «Корректность процессов живёт в дагах DQ, а не в целях make»: цели make отвечают «стенд собран», свойства данных — работа дага. - назван фильтр: про полноту дня, свежесть слоя, сходимость витрины с источником — это даг, а не цель. - названа учебная сторона: даг идёт по расписанию, пишет историю проверок и разбирается как обычная задача Airflow — так качество данных устроено в бою. - Проверка: - make config-test Co-Authored-By: Claude Opus 5 --- docs/architecture/testing.md | 15 +++++++++++++++ 1 file changed, 15 insertions(+) diff --git a/docs/architecture/testing.md b/docs/architecture/testing.md index 6caa598..307f973 100644 --- a/docs/architecture/testing.md +++ b/docs/architecture/testing.md @@ -121,6 +121,21 @@ ClickHouse отвечает сразу. сломанный разбор (события уехали в брак — счёт разошёлся), ничего при этом не вкладывая. +## Корректность процессов живёт в дагах DQ, а не в целях `make` + +Цели `make` отвечают на вопрос «стенд собран и работает». Вопрос «данные в нём +правильные» — работа отдельных дагов качества данных: они приходят вместе со +следующими уровнями хранилища и заберут многое из того, что просится проверкой +сейчас. Поэтому находка «это стоило бы проверять регулярно» сначала проверяется +вопросом, не туда ли ей: если она про свойства данных — про полноту дня, про +свежесть слоя, про сходимость витрины с источником, — её дом даг, а не +`check-clickhouse`. + +Разница видна и менти, и она содержательная. Цель `make` он зовёт руками, +когда чинит стенд; даг DQ идёт по расписанию рядом с остальным конвейером, +пишет историю проверок и разбирается как обычная задача Airflow — то есть учит +тому, как качество данных устроено в бою. + ## Устройство скриптов | Цель | Скрипт |