docs(dm): спроектирован слой витрин DM
- Зачем: - развилка #135 карты #127 решена: форма и состав витрин DM, контур DQ этапа 4; резолюция переносится в доки architecture. - Что: - создана docs/architecture/dm.md: форма по зерну, дележ витрин между стендом и заданиями менти, dq_summary с REPLACE PARTITION, звено DQ конвейера и даг самопроверки домашек. - ссылки на #135 в etl.md и dds/README.md заменены на доку слоя. - Проверка: - make config-test. Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
1 parent
70270c2d54
commit
70a9aeddb7
3 files changed
+127
-8
No files matched your search
@@ -14,8 +14,8 @@
|
||||
|
||||
Дневной конвейер на стенде один — даг `etl_pipeline`. Своей работы
|
||||
у него нет: он дёргает слойные даги последовательно и ждёт каждый —
|
||||
`dds_transform`, затем `dm_transform`. Контур DQ этапа 4 встанет его же
|
||||
звеном после DM; состав звена — предмет развилки витрин (#135) и нарезки.
|
||||
`dds_transform`, затем `dm_transform`. Контур DQ этапа 4 встаёт его же
|
||||
звеном после DM; состав звена — в [доке слоя DM](dm.md).
|
||||
|
||||
Слойные даги устроены по образцу `orders_ingest`: без расписания, один
|
||||
активный прогон, запускаются триггером конвейера или рукой при разборе
|
||||
@@ -42,7 +42,8 @@
|
||||
Параметров у конвейера нет: объём он выводит сам из `world_position` и
|
||||
состояния слоёв. Сессии догоняют хвост — от последнего собранного дня до
|
||||
последнего прожитого; заказы пересобирают дышащее окно K от позиции; карта
|
||||
идентичностей пересчитывается целиком; правила витрин — у витрин (#135).
|
||||
идентичностей пересчитывается целиком; правила витрин — у
|
||||
[слоя DM](dm.md).
|
||||
Поэтому один и тот же запуск одинаково верен из триггера, с кнопки менти и
|
||||
после падения, а разгону на семь дней хватает одного прогона.
|
||||
|
||||
@@ -70,7 +71,8 @@
|
||||
диапазон, включая форму необязательных параметров того же дага, — этап 5
|
||||
(#7); туда же стык #111 про дату модельного мира и `logical_date`.
|
||||
- Инкрементальный ETL вместо пересборки — техдолг #2.
|
||||
- Состав витрин `dm_transform` и звена DQ — #135 и нарезка этапа 4.
|
||||
- Состав витрин `dm_transform` и звена DQ — [дока слоя DM](dm.md);
|
||||
имена задач — нарезка этапа 4.
|
||||
|
||||
## Отклонённые варианты
|
||||
|
||||
|
||||
Reference in new issue
Block a user