ddmitry/clickstream-data-platform
1
0
Fork 0
Code Issues 16 Pull Requests Actions Packages Projects 1 Releases Wiki Activity

docs(stage-2): приёмка этапа 2 — снятые замеры и решение по дублям Kafka

Browse Source 
Зачем: этап 2 принят прогоном с нуля, и два его следа должны остаться в
доках — иначе решение «не проверяем» станет забытым долгом, а цена цели
разойдётся с замером.

Что:
- в спеке v2 раздел 11 больше не держит Kafka Engine на двух нодах: дубли и
  раскладку партиций между прогонами решено не проверять — дубль возможен по
  устройству движка, окно разобрано в доке хранилища, в ODS его схлопывает
  ReplacingMergeTree. Половина, которую показал #37, названа;
- в карте проверок цена check-services 44 с -> 59 с и абзац с замерами
  приёмки: clean+up 2 м 58 с, смоук 9 с, check-clickhouse 8 с, test 71 с.
  Причина подорожания не выдумывается — названа неизвестной.

Проверка: make clean && make up, затем make smoke, make check-clickhouse,
make check-services, make lint, make typecheck, make test — всё зелёное
7 августа 2026 года.
This commit is contained in:
ddadmin
2026-08-07 20:14:35 +03:00
parent 600bd74b04
commit 6f5f76fafb
2 changed files with 21 additions and 8 deletions
Download Patch File Download Diff File Expand all files Collapse all files
docs/specs/2026-07-30-stand-v2-realism.md
+8 -4
View File
@@ -590,12 +590,16 @@ v2 стартует пустым, поэтому объём ниже — это
хранилища](../architecture/storage.md), раздел «Что проверено»; запасной
именованный кортеж — там же в [ADR 0005](../adr/0005-event-ingestion.md).
Kafka Engine на двух нодах снят с этого списка при приёмке этапа 2 (7 августа
2026 года) — проверенным наполовину и осознанно. Что обе ноды читают топик и
обе партиции доезжают, показал #37. Дубли и раскладку партиций между прогонами
решено не проверять: дубль здесь возможен по устройству движка, окно названо и
разобрано в [доке хранилища](../architecture/storage.md), а в ODS его схлопывает
`ReplacingMergeTree`. Проверять то, что заведомо случается и заведомо
обезврежено, — работа без ответа на конце.
- Поведение соединения двух Distributed-таблиц и `distributed_product_mode` —
эмпирически на стенде (хвост #14).
- Kafka Engine на двух нодах в одной consumer group: ребаланс партиций между
прогонами, отсутствие дублей при штатной работе. Закрыто пока наполовину: что
обе ноды читают топик и обе партиции доезжают, показал #37; что дублей нет и
как раскладка меняется между прогонами — нет.
- Размер артефакта эталонного мира после пересборки.
- Спорные API (Airflow Datasets/сенсоры, ClickHouse DDL) — перед кодом
сверять через MCP Context7 (правило AGENTS.md).