feat(infra): add makefile and kafka data loading script
Add build automation via Makefile with targets for docker compose management, DDL application, and data ingestion. Implement a robust bash script for loading JSONL demo data into Kafka topics with configurable options for limits, full dataset loading, and topic reset behavior.
This commit is contained in:
+2
-1
@@ -35,6 +35,8 @@ make ddl
|
||||
- `make ddl` — применяет SQL из `plans/clickhouse_ddl.md` в контейнер ClickHouse (извлекает все блоки ```sql``` и исполняет их через `clickhouse-client`).
|
||||
- `make data` — пересоздаёт топики (по умолчанию) и публикует события из `data/*.jsonl` в Kafka (1 строка = 1 Kafka message value).
|
||||
|
||||
План реализации механики заливки (дизайн/решения): `plans/kafka_ingest_plan.md`.
|
||||
|
||||
## Загрузка данных в Kafka (`make data`)
|
||||
|
||||
### Топики
|
||||
@@ -79,4 +81,3 @@ RESET_TOPICS=0 make data
|
||||
|
||||
- для соединений “контейнер → Kafka” используйте `kafka:29092`;
|
||||
- `localhost:9092` подходит только для клиентов на хосте.
|
||||
|
||||
|
||||
Reference in New Issue
Block a user