feat(generator): добавлено сохранение стейта между рестартами

ddmitry/clickstream-ch-kafka-superset-demo

- Зачем:

  - генератор должен продолжать работу с места остановки после падения/рестарта

  - нужно сохранять continuity тиков и состояние RNG для воспроизводимости

- Что:

  - добавлен GeneratorState dataclass (tick, rng_state, last_batch_id, timestamp)

  - добавлен KafkaStateManager для работы с compact topic generator_state

  - топик создаётся с cleanup.policy=compact (хранится только последнее значение)

  - интеграция в GeneratorService: восстановление при старте, сохранение после тика

  - новые env: GEN_STATE_ENABLED (по умолчанию true), GEN_STATE_RESET (по умолчанию false)

  - добавлены тесты test_state.py

  - обновлена документация README.md

- Проверка:

  - make generator-test (45 тестов проходят)

  - docker compose restart generator - продолжает с сохранённого tick

  - GEN_STATE_RESET=true - начинает с tick=1

This commit is contained in:

ddadmin

2026-06-09 17:27:16 +03:00

committed by

Dmitry Dementiev

parent ea114153b9

commit 31e8901eb0

5 changed files with 551 additions and 18 deletions

									
										generator/tests/conftest.py
									
		+2
		
												View File
												
				@@ -38,6 +38,8 @@ def base_config(data_dir):

				        seed=42,

				        enabled=True,

				        metrics_port=9109,

				        state_enabled=True,

				        state_reset=False,

				    )