feat(infra): add makefile and kafka data loading script

Add build automation via Makefile with targets for docker compose
management, DDL application, and data ingestion. Implement a robust bash
script for loading JSONL demo data into Kafka topics with configurable
options for limits, full dataset loading, and topic reset behavior.
This commit is contained in:
2026-02-05 22:10:48 +03:00
parent 380e8fcff3
commit eb80bc1870
3 changed files with 176 additions and 1 deletions
+2 -1
View File
@@ -35,6 +35,8 @@ make ddl
- `make ddl` — применяет SQL из `plans/clickhouse_ddl.md` в контейнер ClickHouse (извлекает все блоки ```sql``` и исполняет их через `clickhouse-client`).
- `make data` — пересоздаёт топики (по умолчанию) и публикует события из `data/*.jsonl` в Kafka (1 строка = 1 Kafka message value).
План реализации механики заливки (дизайн/решения): `plans/kafka_ingest_plan.md`.
## Загрузка данных в Kafka (`make data`)
### Топики
@@ -79,4 +81,3 @@ RESET_TOPICS=0 make data
- для соединений “контейнер → Kafka” используйте `kafka:29092`;
- `localhost:9092` подходит только для клиентов на хосте.