ddmitry/clickstream-data-platform
1
0
Fork 0
Code Issues 16 Pull Requests Actions Packages Projects Releases Wiki Activity

Техдолг: инкрементальный ETL вместо полной перезагрузки слоёв #2

New Issue
Open
opened 2026-07-30 15:59:49 +03:00 by ddmitry · 0 comments
ddmitry commented 2026-07-30 15:59:49 +03:00
Owner
Copy Link
Copy Source

Переехало из репозитория-предшественника:
ddmitry/clickstream-ch-kafka-superset-demo#8

Что за долг

В v1 ETL перезагружал слои целиком (full refresh) на каждый модельный день.
Для v2 смысл задачи сохраняется, но форма другая: спека предписывает конвейер
без TRUNCATE — поток append-only в ReplacingMergeTree и переобработку по
дневным партициям, поздние заказы поглощает только ODS (раздел 6).
Инкрементальность в спеку не входит намеренно (раздел 10: «Инкрементальный
ETL — свой issue»).

Что решить

  • нужна ли инкрементальность поверх переобработки дневных партиций и где
    именно она даёт учебную ценность
  • где хранится точка отсчёта загрузки по каждой таблице и какой запас
    берётся на опоздавшие данные
  • поведение при падении прогона и повторном запуске (идемпотентность)

Опорный материал

Утверждённый, но не реализованный план из v1:
https://git.dementev.space/ddmitry/clickstream-ch-kafka-superset-demo/src/branch/main/plans/incremental-etl-v2.md

Оговорка о переносе

Тело исходного issue не сохранилось: он был закрыт как wontfix ещё до
переезда трекера с GitHub, и при переносе в Gitea перенесли только название.
Постановка выше восстановлена по названию, плану v1 и разделам 6 и 10 спеки v2.

Переехало из репозитория-предшественника: https://git.dementev.space/ddmitry/clickstream-ch-kafka-superset-demo/issues/8 ## Что за долг В v1 ETL перезагружал слои целиком (full refresh) на каждый модельный день. Для v2 смысл задачи сохраняется, но форма другая: спека предписывает конвейер без TRUNCATE — поток append-only в ReplacingMergeTree и переобработку по дневным партициям, поздние заказы поглощает только ODS (раздел 6). Инкрементальность в спеку не входит намеренно (раздел 10: «Инкрементальный ETL — свой issue»). ## Что решить - [ ] нужна ли инкрементальность поверх переобработки дневных партиций и где именно она даёт учебную ценность - [ ] где хранится точка отсчёта загрузки по каждой таблице и какой запас берётся на опоздавшие данные - [ ] поведение при падении прогона и повторном запуске (идемпотентность) ## Опорный материал Утверждённый, но не реализованный план из v1: https://git.dementev.space/ddmitry/clickstream-ch-kafka-superset-demo/src/branch/main/plans/incremental-etl-v2.md ## Оговорка о переносе Тело исходного issue не сохранилось: он был закрыт как `wontfix` ещё до переезда трекера с GitHub, и при переносе в Gitea перенесли только название. Постановка выше восстановлена по названию, плану v1 и разделам 6 и 10 спеки v2.
ddmitry added the needs-triage label 2026-07-30 15:59:49 +03:00
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels
needs-info
needs-triage
ready-for-agent
ready-for-human
wayfinder:grilling
wayfinder:map
wayfinder:prototype
wayfinder:research
wayfinder:task
wontfix
No labels needs-triage
Milestone
No items
No Milestone
Projects
Clear projects
No projects
Assignees
Clear assignees
ddmitry (Dmitry Dementiev)
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: ddmitry/clickstream-data-platform#2