docs(etl): спроектирован дневной конвейер трансформаций
Зачем: развилка #134 карты #127 — чем и когда гоняются трансформации DDS и витрины-таблицы, пока спека числила etl_pipeline за этапом 5. Что: дока docs/architecture/etl.md — даг etl_pipeline рождается этапом 4: дёргает dds_transform и dm_transform последовательно (DQ — будущее звено); живой день зовёт его с ожиданием после установки позиции, после разгона пачкой менти запускает рукой, world_initialize — последним шагом; параметров нет, объём выводится из world_position и состояния слоёв; первый шаг — ожидание хвоста hits; механика REPLACE PARTITION — этап 4, этапу 5 — партиционная переобработка. Указатели в доках заказа, сессии, README слоя и ретро-пометки в ADR 0008/0009 переведены на новую доку. Проверка: вычитка; резолюция и доводы — в тикете #134. Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
1 parent
f0c4b4c627
commit
ebe3de4ae8
6 files changed
+117
-10
No files matched your search
@@ -135,7 +135,10 @@
|
||||
Этапы 3 и 5 зовут генератор тем же приёмом: пакетный забор слепка заказов
|
||||
([ADR 0008](0008-order-ingestion.md)) прирастает к тому же работнику, а
|
||||
`etl_pipeline` этапа 5 получает готовую обвязку `DockerOperator` и готовое
|
||||
правило позиции.
|
||||
правило позиции. Позднее резолюция #134 родила `etl_pipeline` этапом 4 —
|
||||
[дневным конвейером трансформаций](../architecture/etl.md) без генераторных
|
||||
шагов: обвязка и правило позиции остаются работникам, а конвейер живой день
|
||||
дёргает после установки позиции.
|
||||
|
||||
Расхождения, внесённые тем же коммитом: раздел 8 спеки генератора (позицию
|
||||
двигал «только даг `next_day`»; теперь — всякий, кто сыграл день, значением
|
||||
|
||||
Reference in new issue
Block a user