ddmitry/clickstream-data-platform
1
0 Fork 0
Code Issues 5 Pull Requests Actions Packages Projects 1 Releases Wiki Activity

Дневной конвейер трансформаций: etl_pipeline рождается этапом 4 #146

Merged
ddmitry merged 2 commits from 134-etl-pipeline into main 2026-08-25 10:26:55 +03:00
Conversation 0 Commits 2 Files Changed 6
+118 -10
ddmitry commented 2026-08-25 10:23:01 +03:00
Owner
Copy link
Copy source

Резолюция развилки #134 карты #127: дока docs/architecture/etl.md — форма конвейера, три пути запуска, объём без параметров, готовность источника, граница этапа 5. Тем же PR — указатели в доках слоя и ретро-пометки в ADR 0008/0009.

Резолюция развилки #134 карты #127: дока docs/architecture/etl.md — форма конвейера, три пути запуска, объём без параметров, готовность источника, граница этапа 5. Тем же PR — указатели в доках слоя и ретро-пометки в ADR 0008/0009.
ddmitry added 1 commit 2026-08-25 10:23:02 +03:00
docs(etl): спроектирован дневной конвейер трансформаций ebe3de4ae8 
Зачем: развилка #134 карты #127 — чем и когда гоняются трансформации DDS
и витрины-таблицы, пока спека числила etl_pipeline за этапом 5.

Что: дока docs/architecture/etl.md — даг etl_pipeline рождается этапом 4:
дёргает dds_transform и dm_transform последовательно (DQ — будущее звено);
живой день зовёт его с ожиданием после установки позиции, после разгона
пачкой менти запускает рукой, world_initialize — последним шагом; параметров
нет, объём выводится из world_position и состояния слоёв; первый шаг —
ожидание хвоста hits; механика REPLACE PARTITION — этап 4, этапу 5 —
партиционная переобработка. Указатели в доках заказа, сессии, README слоя
и ретро-пометки в ADR 0008/0009 переведены на новую доку.

Проверка: вычитка; резолюция и доводы — в тикете #134.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
ddmitry added 1 commit 2026-08-25 10:25:15 +03:00
docs(etl): вычитан дневной конвейер d1aad3b143 
Зачем: горячее ревью доки перед слиянием PR #146.

Что: «единственный на стенде» больше не читается как «единственный даг
стенда»; в пункте про живой день причина порядка триггера названа один раз
и по делу; конвейер дёргает работник живого дня, а не работники; в
ретро-пометке ADR 0009 расставлены кто кого дёргает.

Проверка: перечитка диффа.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
ddmitry merged commit 70270c2d54 into main 2026-08-25 10:26:55 +03:00
Sign in to join this conversation.
Reviewers
No Reviewers
Labels
Clear labels
needs-info
needs-triage
ready-for-agent
ready-for-human
wayfinder:grilling
wayfinder:map
wayfinder:prototype
wayfinder:research
wayfinder:task
wontfix
No labels
Milestone
No items
No Milestone
Projects
Clear projects
No projects
Assignees
Clear assignees
ddmitry (Dmitry Dementiev)
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: ddmitry/clickstream-data-platform#146