ddmitry/clickstream-data-platform
1
0 Fork 0
Code Issues 5 Pull Requests Actions Packages Projects 1 Releases Wiki Activity

Техдолг: инкрементальный ETL вместо полной перезагрузки слоёв #2

New Issue
Closed
opened 2026-07-30 15:59:49 +03:00 by ddmitry · 1 comment
ddmitry commented 2026-07-30 15:59:49 +03:00
Owner
Copy link
Copy source

Переехало из репозитория-предшественника:
ddmitry/clickstream-ch-kafka-superset-demo#8

Что за долг

В v1 ETL перезагружал слои целиком (full refresh) на каждый модельный день.
Для v2 смысл задачи сохраняется, но форма другая: спека предписывает конвейер
без TRUNCATE — поток append-only в ReplacingMergeTree и переобработку по
дневным партициям, поздние заказы поглощает только ODS (раздел 6).
Инкрементальность в спеку не входит намеренно (раздел 10: «Инкрементальный
ETL — свой issue»).

Что решить

  • нужна ли инкрементальность поверх переобработки дневных партиций и где
    именно она даёт учебную ценность
  • где хранится точка отсчёта загрузки по каждой таблице и какой запас
    берётся на опоздавшие данные
  • поведение при падении прогона и повторном запуске (идемпотентность)

Опорный материал

Утверждённый, но не реализованный план из v1:
https://git.dementev.space/ddmitry/clickstream-ch-kafka-superset-demo/src/branch/main/plans/incremental-etl-v2.md

Оговорка о переносе

Тело исходного issue не сохранилось: он был закрыт как wontfix ещё до
переезда трекера с GitHub, и при переносе в Gitea перенесли только название.
Постановка выше восстановлена по названию, плану v1 и разделам 6 и 10 спеки v2.

Переехало из репозитория-предшественника: https://git.dementev.space/ddmitry/clickstream-ch-kafka-superset-demo/issues/8 ## Что за долг В v1 ETL перезагружал слои целиком (full refresh) на каждый модельный день. Для v2 смысл задачи сохраняется, но форма другая: спека предписывает конвейер без TRUNCATE — поток append-only в ReplacingMergeTree и переобработку по дневным партициям, поздние заказы поглощает только ODS (раздел 6). Инкрементальность в спеку не входит намеренно (раздел 10: «Инкрементальный ETL — свой issue»). ## Что решить - [ ] нужна ли инкрементальность поверх переобработки дневных партиций и где именно она даёт учебную ценность - [ ] где хранится точка отсчёта загрузки по каждой таблице и какой запас берётся на опоздавшие данные - [ ] поведение при падении прогона и повторном запуске (идемпотентность) ## Опорный материал Утверждённый, но не реализованный план из v1: https://git.dementev.space/ddmitry/clickstream-ch-kafka-superset-demo/src/branch/main/plans/incremental-etl-v2.md ## Оговорка о переносе Тело исходного issue не сохранилось: он был закрыт как `wontfix` ещё до переезда трекера с GitHub, и при переносе в Gitea перенесли только название. Постановка выше восстановлена по названию, плану v1 и разделам 6 и 10 спеки v2.
ddmitry added the needs-triage label 2026-07-30 15:59:49 +03:00
ddmitry commented 2026-08-28 11:36:36 +03:00
Author
Owner
Copy link
Copy source

Закрыт как wontfix — решением, не работой.

Тикет — техдолг, переехавший с предыдущего стенда, а не долг этого. Здесь выбор уже сделан и записан: конвейер живёт на пересборке по дневным партициям, объём выводится из world_position и состояния слоёв (#135, etl.md), параметров у запуска нет. Приёмка этапа 4 (#6) подтвердила, что повторный прогон не меняет делового содержимого витрин. Инкрементальность на стенде не окупается: её цена — сложность, которую менти пришлось бы расшифровывать по дороге к уроку.

Тема при этом не выброшена: учебная ценность инкрементального пересчёта живёт в идее лабы #149 — менти строит инкрементальный daily_traffic сам, против готового оракула сверки.

Закрыт как wontfix — решением, не работой. Тикет — техдолг, переехавший с предыдущего стенда, а не долг этого. Здесь выбор уже сделан и записан: конвейер живёт на пересборке по дневным партициям, объём выводится из world_position и состояния слоёв (#135, etl.md), параметров у запуска нет. Приёмка этапа 4 (#6) подтвердила, что повторный прогон не меняет делового содержимого витрин. Инкрементальность на стенде не окупается: её цена — сложность, которую менти пришлось бы расшифровывать по дороге к уроку. Тема при этом не выброшена: учебная ценность инкрементального пересчёта живёт в идее лабы #149 — менти строит инкрементальный daily_traffic сам, против готового оракула сверки.
ddmitry added wontfix and removed needs-triage labels 2026-08-28 11:37:10 +03:00
Sign in to join this conversation.
No Branch/Tag Specified
Labels
Clear labels
needs-info
needs-triage
ready-for-agent
ready-for-human
wayfinder:grilling
wayfinder:map
wayfinder:prototype
wayfinder:research
wayfinder:task
wontfix
No labels wontfix
Milestone
No items
No Milestone
Projects
Clear projects
No projects
Assignees
Clear assignees
ddmitry (Dmitry Dementiev)
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: ddmitry/clickstream-data-platform#2