3 Commits

Include renames

Author	SHA1	Message	Date
ddadminandDmitry Dementiev	731d991f94	refactor(generator): история batch в Kafka вместо ClickHouse ... - Зачем: - ревью rev5: ClickHouse-интеграция была проблемной (порт 9000 native vs HTTP, неработающий fallback, отсутствие DDL для базы meta) - архитектурно чище: генератор остаётся pure Kafka producer, история доступна для аналитики через стандартный ingestion - Что: - удален ClickHouseBatchHistory, clickhouse-connect зависимость - добавлен KafkaBatchHistory с записью в топик generator_batch_history - добавлен BatchRecord.to_dict() для JSON-сериализации - добавлен рабочий fallback: Kafka → InMemory при недоступности - удален pytest-asyncio (не использовался) - добавлены тесты test_kafka_history.py (15 тестов) и test_service.py (6 тестов) - обновлена документация: топик вместо таблицы ClickHouse - Проверка: - make generator-test: 44/44 тестов пройдено - docker-compose валиден, генератор не зависит от clickhouse	2026-06-09 17:27:16 +03:00
ddadminandDmitry Dementiev	04541677ff	feat(generator): доработка по ревью rev5 — тики, метрики, история ... - Зачем: - ревью rev5 выявило несоответствие плану: дефолт 60s против 5s, неработающий jitter, отсутствие Prometheus-метрик и персистентности - Что: - дефолт GEN_TICK_SECONDS изменён с 60s на 5s (steady-stream режим) - реализован GEN_JITTER_PCT в расчёте объёма тика (вариативность) - добавлены Prometheus метрики: generator_events_total, generator_publish_errors_total, generator_tick_duration_seconds, generator_last_success_timestamp (порт 9109) - добавлен ClickHouseBatchHistory с записью в meta.generator_batches - lazy import kafka-python для тестов без Kafka - обновлён scrape_config в configs/prometheus.yml - удалён нерабочий verify_kafka.py - Проверка: - test_comprehensive.py: 9/9 тестов пройдено - docker build -t generator:rev5 . — успешно - docker-compose.yml валиден	2026-06-09 17:27:01 +03:00
ddadminandDmitry Dementiev	e8d1c9efa9	feat(infra): добавлен автономный генератор событий для Kafka ... - Зачем: - нужен постоянный поток данных для демонстрации работы стека - текущий batch-загрузчик не позволяет показать streaming-сценарии - Что: - добавлен сервис generator с режимом steady (Poisson-интенсивность) - генератор публикует в 4 топика: browser/location/device/geo_events - сохраняются связи event_id и click_id между событиями - сборка через uv для скорости и компактности образа - добавлены команды generator-* в Makefile - комплексные тесты: валидация, статистика, формат сообщений - Проверка: - `docker run --rm -v $(pwd)/..:/workspace -w /workspace/generator generator:test python test_comprehensive.py` — 8/8 тестов - `make generator-up` — 3 тика без ошибок, отправлено 2904 сообщения	2026-06-09 17:27:01 +03:00