feat(generator): инкрементальные счётчики manifest без перечитки Kafka

ddmitry/clickstream-ch-kafka-superset-demo

- Зачем:
  - world_next_day перечитывал всю историю топиков Kafka ради
    накопительных счётчиков — время прогона росло с возрастом мира
    (issue #5, находка F9).
- Что:
  - счётчики засеваются при import из уже прочитанного артефакта и при
    backfill из потока; next-day продвигает их только событиями нового
    дня, полного чтения Kafka больше нет;
  - катящаяся контрольная сумма — сумма SHA-256 событий по модулю 2^256
    (инкремент равен полному пересчёту), старый формат артефакта
    принимается без изменений;
  - точные множества click_id/user_domain_id вынесены из manifest в
    цепочку контент-адресуемых фрагментов (<=10 000 ID, SHA-256-цепочка,
    отдельный топик counter_chunks) — потолок сообщения Kafka не грозит,
    предел 900 000 байт проверяется явно с понятной ошибкой;
  - порядок записи всюду: фрагменты -> manifest -> state; старое локальное
    состояние отклоняется с подсказкой перезапустить import;
  - документация manifest/state обновлена (ARCHITECTURE, OPERATIONS,
    runbook startup-history).
- Проверка:
  - make test (216+31) и make lint зелёные;
  - живая приёмка на чистом стенде: import 235 с; три прогона
    world_next_day — 716/718/716 с (плоское время, O(нового дня));
    мир 3->6 дней, 561 942 события; make generated-history-chain-check —
    все порции и стыки однородны;
  - тест равенства инкремента и полного пересчёта:
    test_incremental_counters_equal_full_recompute.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

This commit is contained in:

ddadmin

2026-07-22 23:47:02 +03:00

co-authored by

Claude Fable 5

parent f4971e94ca

commit 103ac021c8

12 changed files with 845 additions and 54 deletions

									
										generator/tests/test_airflow_control.py
									
		+5
		
												View File
												
				@@ -149,6 +149,11 @@ def test_next_day_precheck_requires_manifest_and_matching_state():

				    with pytest.raises(RuntimeError, match="state.*T_end"):

				        assert_next_day_snapshot(manifest, state)

				    manifest["model_t_end"] = state.model_timestamp.isoformat()

				    manifest["state"]["model_timestamp"] = state.model_timestamp.isoformat()

				    with pytest.raises(RuntimeError, match="повторно запустите import"):

				        assert_next_day_snapshot(manifest, state)

				def test_target_dag_trigger_error_covers_missing_paused_and_ready_states():

				    """Проверка зависимого DAG различает три реальные ветки."""