docs(docs): актуализировано ТЗ и потоки ingest
- Зачем: - убрать рассинхрон между кратким ТЗ, архитектурой и планом генератора - Что: - сокращен docs/DE-task.md до формата краткого ТЗ проекта - обновлены docs/ARCHITECTURE.md и README.md: bootstrap через kafka_load и steady-stream через generator-service - обновлен plans/generator_demo_stream_plan.md: режим steady-stream и тик-публикация - Проверка: - просмотрен git diff по измененным файлам - в коммит включены только мои документационные изменения
This commit is contained in:
@@ -9,8 +9,10 @@
|
||||
витринами.
|
||||
|
||||
Поток данных коротко:
|
||||
`data/*.jsonl → Airflow (kafka_load) → Kafka → ClickHouse (слой STG) → Airflow
|
||||
(etl_pipeline: STG → ODS → DDS → DM) → Superset`.
|
||||
- **bootstrap**: `data/*.jsonl → Airflow (kafka_load) → Kafka → ClickHouse (слой STG) →
|
||||
Airflow (etl_pipeline: STG → ODS → DDS → DM) → Superset`.
|
||||
- **steady-stream**: `generator-service → Kafka → ClickHouse (STG) → Airflow (etl_pipeline)
|
||||
→ Superset`.
|
||||
|
||||
## Куда дальше
|
||||
|
||||
|
||||
Reference in New Issue
Block a user