feat(dm): добавлены учебные задания витрин и даг самопроверки

- Зачем:
  - менти строит витрины DM сам, от DDL по правилу зерна до задачи в
    конвейере; стенду нужны ТЗ с образцом и обратная связь по каждой
    витрине (#159, резолюция #135).
- Что:
  - docs/labs/: README и пять ТЗ — events_enriched_v, top_pages_daily,
    session_overview, dq_errors_daily, utm_effectiveness; каждое ТЗ
    называет урок, состав колонок, форму по зерну и самопроверку.
  - dags/homework_check.py: ручной даг, задача на витрину, красная без
    витрины или при расхождении; проверки — шесть файлов sql/dq/ с
    инвариантами против DDS и ODS, без золотых констант; в dq_summary
    не пишет.
  - docs: dm.md называет homework_check и снимает «Остается нарезке»,
    §7 и §10 мастер-спеки согласованы с лабами, dds/session.md указывает
    на ТЗ, AGENTS.md пополнен правилом имен docs/labs/.
- Проверка:
  - make lint; make smoke 21/21, make check-clickhouse 10/10,
    make check-services 7/7.
  - на свежем стенде все пять задач homework_check красные и называют
    ТЗ; черновик каждой витрины по тексту ТЗ зеленит свою задачу,
    после сноса — снова красная; строк от самопроверки в dq_summary нет.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
ddadminandClaude Fable 5 committed 2026-08-27 17:44:15 -04:00
1 parent 35d43125b1
commit f33d75113d
17 files changed
+1367 -25

No files matched your search

+88
View File
@@ -0,0 +1,88 @@
-- DQ: дневная сводка брака против живого окна таблиц ошибок ODS.
--
-- Граница окна повторяет TTL источников; более старую историю сверять не с чем.
WITH
reference AS
(
SELECT
load_date,
source,
error_class,
count() AS error_rows
FROM
(
SELECT
toDate(_load_ts) AS load_date,
'event' AS source,
error_class
FROM ods.event_errors_dist
UNION ALL
SELECT
toDate(_load_ts) AS load_date,
'order' AS source,
error_class
FROM ods.order_errors_dist
)
WHERE load_date >= toDate(now() - INTERVAL 1 MONTH)
GROUP BY load_date, source, error_class
),
actual AS
(
SELECT
load_date,
source,
error_class,
count() AS physical_rows,
any(error_rows) AS error_rows
FROM dm.dq_errors_daily_v
WHERE load_date >= toDate(now() - INTERVAL 1 MONTH)
GROUP BY load_date, source, error_class
),
comparison AS
(
SELECT
coalesce(reference.load_date, actual.load_date) AS data_date,
concat(
coalesce(reference.source, actual.source),
'/',
coalesce(reference.error_class, actual.error_class)
) AS business_key,
isNotNull(reference.source) AS reference_present,
isNotNull(actual.source) AS actual_present,
reference.error_rows AS reference_value,
actual.error_rows AS actual_value,
actual.physical_rows AS physical_rows,
isNull(reference.source)
OR isNull(actual.source)
OR actual.physical_rows != 1
OR NOT isNotDistinctFrom(reference.error_rows, actual.error_rows)
AS failed
FROM reference
GLOBAL FULL OUTER JOIN actual USING (load_date, source, error_class)
)
SELECT
data_date,
countIf(reference_present) AS reference_rows,
countIf(actual_present) AS actual_rows,
countIf(failed) AS failed_rows,
groupArrayIf(20)(
concat(
toString(data_date),
' source/error_class=',
business_key,
': источник=',
if(reference_present, toString(reference_value), 'нет ключа'),
', витрина=',
if(
actual_present,
concat(toString(actual_value), ', rows=', toString(physical_rows)),
'нет ключа'
)
),
failed
) AS diagnostics
FROM comparison
GROUP BY data_date
ORDER BY data_date
SETTINGS join_use_nulls = 1