ddadminandDmitry Dementiev
e8d1c9efa9
- Зачем: - нужен постоянный поток данных для демонстрации работы стека - текущий batch-загрузчик не позволяет показать streaming-сценарии - Что: - добавлен сервис generator с режимом steady (Poisson-интенсивность) - генератор публикует в 4 топика: browser/location/device/geo_events - сохраняются связи event_id и click_id между событиями - сборка через uv для скорости и компактности образа - добавлены команды generator-* в Makefile - комплексные тесты: валидация, статистика, формат сообщений - Проверка: - `docker run --rm -v $(pwd)/..:/workspace -w /workspace/generator generator:test python test_comprehensive.py` — 8/8 тестов - `make generator-up` — 3 тика без ошибок, отправлено 2904 сообщения
9 lines
198 B
Plaintext
9 lines
198 B
Plaintext
# Kafka клиент
|
|
kafka-python==2.0.5
|
|
|
|
# ClickHouse драйвер (для будущей записи истории batch)
|
|
clickhouse-connect==0.8.0
|
|
|
|
# Утилиты
|
|
python-json-logger==2.0.7
|