ddmitry/clickstream-ch-kafka-superset-demo
1
0
Fork 0
Code Issues 1 Pull Requests Actions Packages Projects Releases Wiki Activity
Files
2f905e4c73329647d6b5d902b980130e1d4d543a
clickstream-ch-kafka-supers…/docs/REPO_MAP.md
T
ddadmin 68862a47c1 docs(repo-map): add monitoring configs and plans 
Add missing entries for monitoring infrastructure:
- prometheus.yml, statsd_mapping.yml configs
- ClickHouse user configs (default_user.xml, prometheus_ch.xml)
- Grafana alerting rules for Kafka and Airflow
- Grafana dashboards for all services
- Monitoring plans (airflow, kafka)

This completes the documentation for the monitoring stack added
in the previous commits.
2026-02-08 22:33:01 +03:00

3.2 KiB
Raw Blame History

Repo Map

Карта ключевых артефактов репозитория.

Исполняемые файлы

Airflow

  • airflow/dags/ddl_init_dag.py — инициализация схемы ClickHouse
  • airflow/dags/kafka_load_dag.py — загрузка в Kafka из JSONL
  • airflow/dags/etl_pipeline_dag.py — ETL процесс STG -> ODS -> DDS -> DM
  • airflow/dags/utils/kafka_helpers.py — helper-функции для Kafka
  • airflow/requirements.txt — зависимости Airflow/ClickHouse plugin

SQL

  • sql/ddl/00_databases.sql — создание БД stg/ods/dds/dm
  • sql/ddl/stg/10_stg.sql — STG (Kafka Engine + MV)
  • sql/ddl/ods/20_ods.sql — ODS (типизация + MV для ошибок)
  • sql/ddl/dds/30_dds.sql — DDS (таблицы для batch-загрузки)
  • sql/ddl/dm/40_dm.sql — DM (витрины VIEW)
  • sql/dds/30_ods_to_dds.sql — ODS -> DDS (argMax + JOIN)
  • sql/dm/40_dds_to_dm.sql — обновление dq_summary

Скрипты

  • scripts/apply_clickhouse_ddl.sh — применение DDL
  • scripts/load_kafka_data.sh — загрузка в Kafka
  • scripts/run_batch.sh — batch-процесс

Данные и конфиги

  • data/*.jsonl — исходные данные (могут быть грязными)
  • configs/ — конфиги ClickHouse, Prometheus, Grafana
  • configs/prometheus.yml — конфигурация Prometheus (scrape targets для ClickHouse, Kafka, Airflow)
  • configs/statsd_mapping.yml — маппинг StatsD → Prometheus метрик для Airflow
  • configs/default_user.xml — пользователь ClickHouse (default/123456)
  • configs/prometheus_ch.xml — встроенный Prometheus endpoint ClickHouse
  • configs/grafana/provisioning/alerting/clickhouse-alert-rules.yml — правила алертинга Grafana для ClickHouse
  • configs/grafana/provisioning/alerting/kafka-alert-rules.yml — правила алертинга Grafana для Kafka
  • configs/grafana/provisioning/alerting/airflow-alert-rules.yml — правила алертинга Grafana для Airflow
  • configs/grafana/provisioning/dashboards/clickhouse-overview.json — дашборд ClickHouse
  • configs/grafana/provisioning/dashboards/kafka-overview.json — дашборд Kafka
  • configs/grafana/provisioning/dashboards/airflow-overview.json — дашборд Airflow

Документация

  • README.md — быстрый старт и обзор проекта
  • docs/ARCHITECTURE.md — техническая архитектура
  • docs/OPERATIONS.md — запуск, проверки, troubleshooting
  • docs/DE-task.md — исходное задание
  • docs/COMMIT_RULES.md — правила коммитов

Legacy-планы

  • plans/clickhouse_ddl.md — исходный план (inline DDL)
  • plans/runbook.md — ранний runbook
  • plans/kafka_ingest_plan.md — ранний план Kafka ingest
  • plans/monitoring_airflow_plan.md — план подключения Airflow мониторинга
  • plans/monitoring_kafka_plan.md — план подключения Kafka мониторинга
Reference in New Issue View Git Blame Copy Permalink