refactor(generator): история batch в Kafka вместо ClickHouse

ddmitry/clickstream-ch-kafka-superset-demo

- Зачем:
  - ревью rev5: ClickHouse-интеграция была проблемной (порт 9000 native vs HTTP,
    неработающий fallback, отсутствие DDL для базы meta)
  - архитектурно чище: генератор остаётся pure Kafka producer,
    история доступна для аналитики через стандартный ingestion
- Что:
  - удален ClickHouseBatchHistory, clickhouse-connect зависимость
  - добавлен KafkaBatchHistory с записью в топик generator_batch_history
  - добавлен BatchRecord.to_dict() для JSON-сериализации
  - добавлен рабочий fallback: Kafka → InMemory при недоступности
  - удален pytest-asyncio (не использовался)
  - добавлены тесты test_kafka_history.py (15 тестов) и test_service.py (6 тестов)
  - обновлена документация: топик вместо таблицы ClickHouse
- Проверка:
  - make generator-test: 44/44 тестов пройдено
  - docker-compose валиден, генератор не зависит от clickhouse

This commit is contained in:

ddadmin

2026-06-09 17:27:16 +03:00

committed by

Dmitry Dementiev

parent 36ecbc62b1

commit 731d991f94

9 changed files with 483 additions and 145 deletions

									
										generator/tests/test_config.py
									
		+1
		-2
	
												View File
												
				@@ -58,8 +58,7 @@ class TestConfigDefaults:

				                seed=None,

				                enabled=True,

				                metrics_port=9109,

				                clickhouse_host="localhost",

				                clickhouse_port=9000,

				                history_topic="generator_batch_history",

				            )

				            assert config.tick_seconds == 5

				        finally: