ddmitry/clickstream-ch-kafka-superset-demo
1
0
Fork 0
Code Issues 1 Pull Requests Actions Packages Projects Releases Wiki Activity
Files
140b7112330432458999f6e420961bf1a9260960
clickstream-ch-kafka-supers…/docs/REPO_MAP.md
T
ddadmin 03de68e0c5 docs(docs): slim down AGENTS and split runbook sections 
- Why:\n  - AGENTS.md became too large and mixed policy with operational details\n  - context7 requirement was easy to miss in long text\n- What:\n  - reduce AGENTS.md to a compact contributor contract\n  - add explicit mandatory MCP Context7 workflow block\n  - move runbook details to docs/OPERATIONS.md\n  - move artifact map to docs/REPO_MAP.md\n- Check:\n  - reviewed links and content after split\n  - ensured only documentation files are included in commit
2026-02-08 20:23:42 +03:00

2.0 KiB
Raw Blame History

Repo Map

Карта ключевых артефактов репозитория.

Исполняемые файлы

Airflow

  • airflow/dags/ddl_init_dag.py — инициализация схемы ClickHouse
  • airflow/dags/kafka_load_dag.py — загрузка в Kafka из JSONL
  • airflow/dags/etl_pipeline_dag.py — ETL процесс STG -> ODS -> DDS -> DM
  • airflow/dags/utils/kafka_helpers.py — helper-функции для Kafka
  • airflow/requirements.txt — зависимости Airflow/ClickHouse plugin

SQL

  • sql/ddl/00_databases.sql — создание БД stg/ods/dds/dm
  • sql/ddl/stg/10_stg.sql — STG (Kafka Engine + MV)
  • sql/ddl/ods/20_ods.sql — ODS (типизация + MV для ошибок)
  • sql/ddl/dds/30_dds.sql — DDS (таблицы для batch-загрузки)
  • sql/ddl/dm/40_dm.sql — DM (витрины VIEW)
  • sql/dds/30_ods_to_dds.sql — ODS -> DDS (argMax + JOIN)
  • sql/dm/40_dds_to_dm.sql — обновление dq_summary

Скрипты

  • scripts/apply_clickhouse_ddl.sh — применение DDL
  • scripts/load_kafka_data.sh — загрузка в Kafka
  • scripts/run_batch.sh — batch-процесс

Данные и конфиги

  • data/*.jsonl — исходные данные (могут быть грязными)
  • configs/ — конфиги ClickHouse, Prometheus, Grafana

Документация

  • README.md — быстрый старт и обзор проекта
  • docs/ARCHITECTURE.md — техническая архитектура
  • docs/OPERATIONS.md — запуск, проверки, troubleshooting
  • docs/DE-task.md — исходное задание
  • docs/COMMIT_RULES.md — правила коммитов

Legacy-планы

  • plans/clickhouse_ddl.md — исходный план (inline DDL)
  • plans/runbook.md — ранний runbook
  • plans/kafka_ingest_plan.md — ранний план Kafka ingest
Reference in New Issue View Git Blame Copy Permalink