ddadminandDmitry Dementiev
731d991f94
- Зачем:
- ревью rev5: ClickHouse-интеграция была проблемной (порт 9000 native vs HTTP,
неработающий fallback, отсутствие DDL для базы meta)
- архитектурно чище: генератор остаётся pure Kafka producer,
история доступна для аналитики через стандартный ingestion
- Что:
- удален ClickHouseBatchHistory, clickhouse-connect зависимость
- добавлен KafkaBatchHistory с записью в топик generator_batch_history
- добавлен BatchRecord.to_dict() для JSON-сериализации
- добавлен рабочий fallback: Kafka → InMemory при недоступности
- удален pytest-asyncio (не использовался)
- добавлены тесты test_kafka_history.py (15 тестов) и test_service.py (6 тестов)
- обновлена документация: топик вместо таблицы ClickHouse
- Проверка:
- make generator-test: 44/44 тестов пройдено
- docker-compose валиден, генератор не зависит от clickhouse
12 lines
182 B
Plaintext
12 lines
182 B
Plaintext
# Kafka клиент
|
|
kafka-python==2.0.5
|
|
|
|
# Prometheus метрики
|
|
prometheus-client==0.21.1
|
|
|
|
# Тестирование
|
|
pytest==8.3.4
|
|
|
|
# Утилиты
|
|
python-json-logger==2.0.7
|