ddmitry/clickstream-data-platform
1
0 Fork 0
Code Issues 5 Pull Requests Actions Packages Projects 1 Releases Wiki Activity

Этап 5: Airflow — etl_pipeline #7

New Issue
Closed
opened 2026-07-30 16:41:40 +03:00 by ddmitry · 1 comment
ddmitry commented 2026-07-30 16:41:40 +03:00
Owner
Copy link
Copy source

Part of #1

Цель этапа: перевести пересчёт слоёв под Airflow — DAG etl_pipeline с переобработкой по дневным партициям и ожиданием дневного батча заказов.

Спека: docs/specs/2026-07-30-stand-v2-realism.md, раздел 7.

DAG'и пишутся под API Airflow 3 (Datasets переименованы в Assets); операторы и сенсоры перед написанием проверить через Context7 — образцы из v1 написаны под Airflow 2 и переносятся не буквально.

Дочерние тикеты

Дочерние тикеты будут нарезаны при входе в этап (по мастер-спеке).

Part of #1 Цель этапа: перевести пересчёт слоёв под Airflow — DAG `etl_pipeline` с переобработкой по дневным партициям и ожиданием дневного батча заказов. Спека: docs/specs/2026-07-30-stand-v2-realism.md, раздел 7. DAG'и пишутся под API Airflow 3 (Datasets переименованы в Assets); операторы и сенсоры перед написанием проверить через Context7 — образцы из v1 написаны под Airflow 2 и переносятся не буквально. ## Дочерние тикеты Дочерние тикеты будут нарезаны при входе в этап (по мастер-спеке).
ddmitry commented 2026-08-28 11:19:58 +03:00
Author
Owner
Copy link
Copy source

Этап закрыт без собственной нарезки: его содержание вобрал этап 4.

Проектирование по карте #127 повело трансформации сразу под Airflow, и дочерние тикеты #6 построили всё, что здесь заявлено целью: DAG etl_pipeline со сцепкой дагов (#156), переобработку по дневным партициям через области пересборки и REPLACE PARTITION (#151–#155), ожидание дневного батча заказов — orders_ingest перед ETL и барьеры dds_transform по отставанию Kafka.

Свидетельство — приёмка этапа 4 от 2026-08-28 (итоговый комментарий в #6): конвейер прошёл чистую пересборку мира, живой день и повторный ручной запуск без изменения делового содержимого публичных _v.

Этап закрыт без собственной нарезки: его содержание вобрал этап 4. Проектирование по карте #127 повело трансформации сразу под Airflow, и дочерние тикеты #6 построили всё, что здесь заявлено целью: DAG etl_pipeline со сцепкой дагов (#156), переобработку по дневным партициям через области пересборки и REPLACE PARTITION (#151–#155), ожидание дневного батча заказов — orders_ingest перед ETL и барьеры dds_transform по отставанию Kafka. Свидетельство — приёмка этапа 4 от 2026-08-28 (итоговый комментарий в #6): конвейер прошёл чистую пересборку мира, живой день и повторный ручной запуск без изменения делового содержимого публичных `_v`.
Sign in to join this conversation.
No Branch/Tag Specified
Labels
Clear labels
needs-info
needs-triage
ready-for-agent
ready-for-human
wayfinder:grilling
wayfinder:map
wayfinder:prototype
wayfinder:research
wayfinder:task
wontfix
No labels
Milestone
No items
No Milestone
Projects
Clear projects
No projects
Assignees
Clear assignees
ddmitry (Dmitry Dementiev)
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Blocks
#8 Этап 6: расхождения B+D, опоздания, счётчики манифеста
ddmitry/clickstream-data-platform
Depends on
#6 Этап 4: трансформации и витрины, сверка A+C
ddmitry/clickstream-data-platform
#66 Доступ к ClickHouse: пользователи, роли и межнодовое доверие
ddmitry/clickstream-data-platform
Reference: ddmitry/clickstream-data-platform#7