Слой витрин DM: форма по зерну, дележ с менти, контур DQ #147

2026-08-25T11:40:43+03:00

ddmitry commented

2026-08-25 11:40:43 +03:00

Резолюция развилки витрин DM карты #127.

Дока docs/architecture/dm.md: форма витрины по зерну (агрегаты —
таблицы с заменой партиций, зерно источника — представления), дележ
витрин между стендом и учебными заданиями менти, устройство
dm.dq_summary, звено DQ конвейера и отдельный даг самопроверки.
Ссылки на #135 в etl.md и dds/README.md ведут теперь на доку слоя.

Closes #135

Резолюция развилки витрин DM карты #127. - Дока `docs/architecture/dm.md`: форма витрины по зерну (агрегаты — таблицы с заменой партиций, зерно источника — представления), дележ витрин между стендом и учебными заданиями менти, устройство `dm.dq_summary`, звено DQ конвейера и отдельный даг самопроверки. - Ссылки на #135 в `etl.md` и `dds/README.md` ведут теперь на доку слоя. Closes #135

ddmitry added 1 commit 2026-08-25 11:40:45 +03:00

docs(dm): спроектирован слой витрин DM 70a9aeddb7

- Зачем:
  - развилка #135 карты #127 решена: форма и состав витрин DM,
    контур DQ этапа 4; резолюция переносится в доки architecture.
- Что:
  - создана docs/architecture/dm.md: форма по зерну, дележ витрин
    между стендом и заданиями менти, dq_summary с REPLACE PARTITION,
    звено DQ конвейера и даг самопроверки домашек.
  - ссылки на #135 в etl.md и dds/README.md заменены на доку слоя.
- Проверка:
  - make config-test.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

ddmitry referenced this pull request

2026-08-25 11:41:13 +03:00

Витрины DM: форма и состав #135

ddmitry referenced this pull request

2026-08-25 11:42:03 +03:00

Карта: проектирование трансформаций и витрин (этап 4) #127

ddmitry added 1 commit 2026-08-25 11:57:24 +03:00

docs(dm): вычитана дока слоя витрин 99496971e2

- Зачем:
  - горячее ревью развилки #135 нашло два незакрытых решения: объём
    пересборки витрин и судьба менти-витрины после постройки.
- Что:
  - добавлен раздел «Объём пересборки»: одно окно K для всех витрин,
    замерзание daily_traffic за окном названо решением с объяснением.
  - в ТЗ менти добавлен финальный пункт — встроить витрину в dm_transform.
  - поправлены мелочи: greenplum-стенд больше не зовётся предшественником,
    добавлены ссылки на спеку и карту идентичностей.
- Проверка:
  - make config-test.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

ddmitry added 1 commit 2026-08-25 13:33:17 +03:00

docs(dm): ритм пересборки витрин выведен из подвижности источника 92d834761c

- Зачем:
  - обсуждение горячего ревью показало: «окно K для всех» — ритм заказов,
    натянутый на слой, а замерзание daily_traffic обесценивало витрину.
- Что:
  - раздел «Объём пересборки» заменён «Ритмом пересборки»: три ритма —
    хвост / окно K / целиком; daily_traffic наследует у карты полный
    пересчёт в ReplacingMergeTree, дневные партиции ей не положены.
  - в отклонённые добавлены замерзание за окном K и инкремент по
    first_matched_at; инкремент стал идеей лабы повышенной сложности #149.
- Проверка:
  - make config-test.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

ddmitry added 1 commit 2026-08-25 13:37:15 +03:00

docs(dm): вычитан слой витрин вторым горячим ревью 2f9a26eb0e

- Зачем:
  - после переписывания ритма пересборки в тексте остались швы прежних
    формулировок и один разрыв с докой конвейера.
- Что:
  - довод против дневных партиций daily_traffic заменён верным: партиция —
    единица замены, а витрина заменяется только целиком (число строк тут
    ни при чём, иначе довод бил бы и по dq_summary).
  - в etl.md к механике REPLACE PARTITION добавлена вторая идемпотентность
    конвейера — полная перезапись в ReplacingMergeTree.
  - правило ритмов говорит про день, а не партицию; поправлены переносы
    строк и обороты.
- Проверка:
  - make config-test.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

ddmitry merged commit f1fee5f1d1 into main

2026-08-25 13:38:23 +03:00

ddmitry deleted branch 135-dm-marts

2026-08-25 13:38:23 +03:00

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: ddmitry/clickstream-data-platform#147