feat(dm): добавлены учебные задания витрин и даг самопроверки
- Зачем:
- менти строит витрины DM сам, от DDL по правилу зерна до задачи в
конвейере; стенду нужны ТЗ с образцом и обратная связь по каждой
витрине (#159, резолюция #135).
- Что:
- docs/labs/: README и пять ТЗ — events_enriched_v, top_pages_daily,
session_overview, dq_errors_daily, utm_effectiveness; каждое ТЗ
называет урок, состав колонок, форму по зерну и самопроверку.
- dags/homework_check.py: ручной даг, задача на витрину, красная без
витрины или при расхождении; проверки — шесть файлов sql/dq/ с
инвариантами против DDS и ODS, без золотых констант; в dq_summary
не пишет.
- docs: dm.md называет homework_check и снимает «Остается нарезке»,
§7 и §10 мастер-спеки согласованы с лабами, dds/session.md указывает
на ТЗ, AGENTS.md пополнен правилом имен docs/labs/.
- Проверка:
- make lint; make smoke 21/21, make check-clickhouse 10/10,
make check-services 7/7.
- на свежем стенде все пять задач homework_check красные и называют
ТЗ; черновик каждой витрины по тексту ТЗ зеленит свою задачу,
после сноса — снова красная; строк от самопроверки в dq_summary нет.
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
1 parent
35d43125b1
commit
f33d75113d
17 files changed
+1367
-25
No files matched your search
+10
-14
@@ -39,10 +39,11 @@
|
||||
образцом. Разминка — представление `events_enriched_v` (зерно события),
|
||||
затем агрегаты `top_pages_daily`, `session_overview` и `dq_errors_daily`,
|
||||
последней — самая содержательная `utm_effectiveness` с уроком `declared_*`.
|
||||
Построенная витрина встаёт в конвейер руками менти: финальный пункт
|
||||
каждого ТЗ — добавить задачу своей витрины в `dm_transform`. До этого
|
||||
Построенная витрина встаёт в конвейер руками менти: финальный пункт ТЗ
|
||||
каждого агрегата — добавить задачу своей витрины в `dm_transform`. До этого
|
||||
конвейер о ней не знает и остаётся зелёным, после — витрина пересобирается
|
||||
наравне со стендовыми.
|
||||
наравне со стендовыми. У разминочного представления такого пункта нет:
|
||||
пересобирать нечего. Тексты заданий — в [`docs/labs/`](../labs/README.md).
|
||||
|
||||
Дашборд этапа 8 стоит только на витринах стенда: приёмка этапа не зависит
|
||||
от выполненных домашек. Расширение дашборда визуализациями по своим
|
||||
@@ -212,22 +213,17 @@ business_key`.
|
||||
|
||||
## Даг самопроверки
|
||||
|
||||
Домашки контролирует отдельный даг без расписания: менти запускает его
|
||||
рукой. Задача витрины красная, пока витрины нет или счёт не сходится, и
|
||||
зелёная, когда построено верно; сообщение об ошибке говорит, что не так и
|
||||
куда смотреть. Проверки — инварианты против DDS-источников, золотые
|
||||
константы не прибиваются. В `dq_summary` даг не пишет: он инструмент лабы,
|
||||
а не история качества конвейера.
|
||||
Домашки контролирует `homework_check` — отдельный даг без расписания: менти
|
||||
запускает его рукой. По задаче на каждое из пяти [заданий](../labs/README.md).
|
||||
Задача красная, пока витрины нет или счёт не сходится, и зелёная, когда
|
||||
построено верно; сообщение об ошибке говорит, что не так и куда смотреть. Проверки — инварианты против источников витрины,
|
||||
золотые константы не прибиваются. В `dq_summary` даг не пишет: он инструмент
|
||||
лабы, а не история качества конвейера.
|
||||
|
||||
Приём проверен на соседнем учебном стенде Airflow + Greenplum:
|
||||
валидационный даг с группами проверок по слоям давал менти обратную связь
|
||||
по каждому шагу домашки, не трогая рабочий конвейер.
|
||||
|
||||
## Остается нарезке
|
||||
|
||||
- Имя и состав дага самопроверки домашних заданий.
|
||||
- Тексты учебных заданий и точный список проверок учебного контура.
|
||||
|
||||
## Отклонённые варианты
|
||||
|
||||
- **Весь слой представлениями.** Дёшево и всегда свежо, но главный
|
||||
|
||||
Reference in new issue
Block a user