ddmitry/clickstream-ch-kafka-superset-demo
1
0
Fork 0
Code Issues 1 Pull Requests Actions Packages Projects Releases Wiki Activity
84 Commits 1 Branch 0 Tags
f4d3118a428d49ce38d27f21a643470612b58bef
Commit Graph
4 Commits
Author SHA1 Message Date
ddadmin 0b4c1861bb chore: add VS Code settings.json to gitignore 
- Why:
  - VS Code settings are personal IDE preferences, not shared project config
- What:
  - remove !.vscode/settings.json exception from .gitignore
- Refs: AGENTS.md
 2026-02-14 11:09:12 +03:00
ddadmin 22f08382e5 fix(superset): align bootstrap with clickhousedb uri 
- Why:
  - Superset bootstrap used outdated ClickHouse URI format and did not fail fast on init errors.
  - docs and exported dashboard metadata diverged from runtime connection settings.
- What:
  - build ClickHouse URI from env vars and use clickhousedb:// in init script.
  - refresh dataset metadata on existing datasets and surface import errors.
  - run create_dashboard during superset-init startup and align docs/exported URI references.
  - ignore node_modules in git.
- Check:
  - python3 -m py_compile superset/init_superset.py
  - manual dashboard smoke check in UI (charts render)
 2026-02-10 23:51:38 +03:00
ddadmin d7588a8caa chore: добавлен полноценный .gitignore для ETL-проекта 
- Python: __pycache__, *.pyc, venv
- Docker: .env.local, volumes (clickhouse-data/, kafka-data/)
- Airflow: logs/, *.pid, airflow.db
- ClickHouse: логи сервера
- Kafka/Zookeeper: logs/, data dirs
- Superset: локальные БД
- IDE: VS Code (partial), PyCharm
- Секреты: *.pem, *.key, secrets/
- OS: .DS_Store, Thumbs.db
- Данные: *.csv.gz, *.parquet, архивы
 2026-02-08 18:48:20 +03:00
ddadmin 10f5bc3510 feat(airflow): реализован DAG kafka_load для загрузки в Kafka (фаза 2) 
- Добавлен kafka-python==2.0.6 в airflow/requirements.txt
- Создан dags/utils/kafka_helpers.py с функциями:
  - check_kafka_ready() — проверка доступности брокера
  - prepare_topics() — создание/сброс топиков через KafkaAdminClient
  - load_jsonl() — загрузка данных через KafkaProducer (limit=0 = все)
  - validate_load_params(), check_input_files() — валидация
- Создан dags/kafka_load_dag.py с TaskGroup:
  - precheck: check_kafka, check_input_files, validate_load_params
  - ingest: prepare_topics, параллельная загрузка 4 потоков, verify_publish_counts
- Параметры DAG: limit (0 = все), reset_topics, load_* (выбор потоков)
- Обновлена документация: AGENTS.md, README.md, plans/runbook.md,
  plans/airflow_dags_plan.md, docs/ARCHITECTURE.md

Тестирование:
- Подключение к Kafka: ✅ (kafka:29092 доступен, брокер 2.6.0)
- Загрузка данных: ✅ (1000 сообщений — полный файл browser_events)
- Python синтаксис: ✅ (py_compile проходит)
- Структура DAG: ✅ (все 9 задач корректно определены)
 2026-02-08 18:13:22 +03:00