Commit Graph
6 Commits
Author SHA1 Message Date
ddadminandClaude Fable 5 984d6fc912 chore(agents): добавлены субагенты deep-reasoner и fast-worker
- Зачем:
  - плейбук оркестрации опирается на репо-локальных субагентов для
    глубоких рассуждений и шумной механики; в этом репозитории их
    ещё не было.
- Что:
  - созданы .claude/agents/deep-reasoner.md (Opus, high) и
    .claude/agents/fast-worker.md (Sonnet) по референсу скилла
    claude-subagent-playbook;
  - .gitignore: локальное содержимое .claude/ скрыто, agents/
    коммитятся.
- Проверка:
  - git status не показывает .claude/settings.local.json;
    субагенты видны в новой сессии Claude Code.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-07-07 22:07:13 +03:00
ddadmin 0dd88183b7 chore(git): игнорировать артефакты playwright-cli/mcp
- Зачем:
  - артефакты браузерной автоматизации не должны попадать в индекс.
- Что:
  - добавлены .playwright-cli и .playwright-mcp в .gitignore.
- Проверка:
  - git status не показывает .playwright-cli/ после прогона playwright-cli.
2026-06-06 16:12:10 +03:00
ddadmin 0b4c1861bb chore: add VS Code settings.json to gitignore
- Why:
  - VS Code settings are personal IDE preferences, not shared project config
- What:
  - remove !.vscode/settings.json exception from .gitignore
- Refs: AGENTS.md
2026-02-14 11:09:12 +03:00
ddadmin 22f08382e5 fix(superset): align bootstrap with clickhousedb uri
- Why:
  - Superset bootstrap used outdated ClickHouse URI format and did not fail fast on init errors.
  - docs and exported dashboard metadata diverged from runtime connection settings.
- What:
  - build ClickHouse URI from env vars and use clickhousedb:// in init script.
  - refresh dataset metadata on existing datasets and surface import errors.
  - run create_dashboard during superset-init startup and align docs/exported URI references.
  - ignore node_modules in git.
- Check:
  - python3 -m py_compile superset/init_superset.py
  - manual dashboard smoke check in UI (charts render)
2026-02-10 23:51:38 +03:00
ddadmin d7588a8caa chore: добавлен полноценный .gitignore для ETL-проекта
- Python: __pycache__, *.pyc, venv
- Docker: .env.local, volumes (clickhouse-data/, kafka-data/)
- Airflow: logs/, *.pid, airflow.db
- ClickHouse: логи сервера
- Kafka/Zookeeper: logs/, data dirs
- Superset: локальные БД
- IDE: VS Code (partial), PyCharm
- Секреты: *.pem, *.key, secrets/
- OS: .DS_Store, Thumbs.db
- Данные: *.csv.gz, *.parquet, архивы
2026-02-08 18:48:20 +03:00
ddadmin 10f5bc3510 feat(airflow): реализован DAG kafka_load для загрузки в Kafka (фаза 2)
- Добавлен kafka-python==2.0.6 в airflow/requirements.txt
- Создан dags/utils/kafka_helpers.py с функциями:
  - check_kafka_ready() — проверка доступности брокера
  - prepare_topics() — создание/сброс топиков через KafkaAdminClient
  - load_jsonl() — загрузка данных через KafkaProducer (limit=0 = все)
  - validate_load_params(), check_input_files() — валидация
- Создан dags/kafka_load_dag.py с TaskGroup:
  - precheck: check_kafka, check_input_files, validate_load_params
  - ingest: prepare_topics, параллельная загрузка 4 потоков, verify_publish_counts
- Параметры DAG: limit (0 = все), reset_topics, load_* (выбор потоков)
- Обновлена документация: AGENTS.md, README.md, plans/runbook.md,
  plans/airflow_dags_plan.md, docs/ARCHITECTURE.md

Тестирование:
- Подключение к Kafka:  (kafka:29092 доступен, брокер 2.6.0)
- Загрузка данных:  (1000 сообщений — полный файл browser_events)
- Python синтаксис:  (py_compile проходит)
- Структура DAG:  (все 9 задач корректно определены)
2026-02-08 18:13:22 +03:00