docs(etl): спроектирован дневной конвейер трансформаций
Зачем: развилка #134 карты #127 — чем и когда гоняются трансформации DDS и витрины-таблицы, пока спека числила etl_pipeline за этапом 5. Что: дока docs/architecture/etl.md — даг etl_pipeline рождается этапом 4: дёргает dds_transform и dm_transform последовательно (DQ — будущее звено); живой день зовёт его с ожиданием после установки позиции, после разгона пачкой менти запускает рукой, world_initialize — последним шагом; параметров нет, объём выводится из world_position и состояния слоёв; первый шаг — ожидание хвоста hits; механика REPLACE PARTITION — этап 4, этапу 5 — партиционная переобработка. Указатели в доках заказа, сессии, README слоя и ретро-пометки в ADR 0008/0009 переведены на новую доку. Проверка: вычитка; резолюция и доводы — в тикете #134. Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
1 parent
f0c4b4c627
commit
ebe3de4ae8
6 files changed
+117
-10
No files matched your search
@@ -51,11 +51,11 @@
|
||||
- Служебные колонки — координаты собственной загрузки слоя; чужие ярлыки не
|
||||
переносятся, а спрашиваются у их слоя по ключу сущности. Вывод правила и
|
||||
цепочка расследования — [модель заказа](order.md).
|
||||
- Наполняет слой [дневной конвейер](../etl.md): запуск, объём прогона и
|
||||
замена партиций на кластере — его устройство.
|
||||
|
||||
## Открытые решения
|
||||
|
||||
- Запуск трансформаций и механика замены партиций на кластере — #134 и
|
||||
этап 5.
|
||||
- Витрины DM — #135.
|
||||
|
||||
## Родословная
|
||||
|
||||
@@ -56,7 +56,7 @@ ODS: это единственный устойчивый ключ сущнос
|
||||
объектов».
|
||||
|
||||
Механика запуска — где собирается партиция и как подменяется на кластере —
|
||||
сюда не входит: это устройство трансформаций (#134, этап 5).
|
||||
сюда не входит: это устройство [дневного конвейера](../etl.md).
|
||||
|
||||
## Служебные колонки
|
||||
|
||||
@@ -95,8 +95,8 @@ ODS: это единственный устойчивый ключ сущнос
|
||||
|
||||
## Не входит
|
||||
|
||||
- Механика запуска трансформации и замены партиций на кластере — #134 и
|
||||
этап 5.
|
||||
- Механика запуска трансформации и замены партиций на кластере —
|
||||
[дневной конвейер](../etl.md).
|
||||
- Контур проверок качества (даг DQ, `dm.dq_summary`) — отдельный разговор
|
||||
этапа 4.
|
||||
- Инкрементальное наполнение вместо пересборки — техдолг #2.
|
||||
|
||||
@@ -91,7 +91,7 @@
|
||||
Источник сборки — `dds.event_v` ([контракт события](event.md)): сессии
|
||||
нужны от него ключи нарезки, тип события, страница, UTM и паспорт куки.
|
||||
Механика запуска — где собирается партиция и как подменяется на кластере —
|
||||
не входит: это устройство трансформаций (#134, этап 5).
|
||||
не входит: это устройство [дневного конвейера](../etl.md).
|
||||
|
||||
## Сверка с эталоном
|
||||
|
||||
@@ -115,8 +115,8 @@
|
||||
|
||||
## Не входит
|
||||
|
||||
- Механика запуска трансформации и замены партиций на кластере — #134 и
|
||||
этап 5.
|
||||
- Механика запуска трансформации и замены партиций на кластере —
|
||||
[дневной конвейер](../etl.md).
|
||||
- Контур проверок качества (даг DQ, `dm.dq_summary`) — отдельный разговор
|
||||
этапа 4.
|
||||
- Форма витрин над сессиями — #135.
|
||||
|
||||
Reference in new issue
Block a user