ddadmin
dc0e6f9452
- Зачем: - превратить стенд в самостоятельный учебный материал (трек «со звёздочкой») для продвинутых менти. - Что: - docs/course/: PRD, LEARNING_PLAN, LESSON_STANDARD и README-индекс. - AGENTS.md: ссылка на курс в разделе навигации. - CLAUDE.md: @-include AGENTS.md для контекста агента. - Проверка: - открыть docs/course/README.md и пройти по ссылкам на PRD/план/стандарт.
4.5 KiB
План обучения: курс «Кликстрим на ClickHouse»
Статус: черновик (скелет). Дата: 2026-06-01. Назначение: высокоуровневый маршрут менти по курсу — карта уроков, порядок, результаты аудита эталонных путей. Рамка курса (зачем/что/скоуп) — в
PRD.md; как устроен отдельный урок — вLESSON_STANDARD.md.Этот файл — стартовый скелет. Детальный аудит путей и финальные вердикты дописываются перед стартом уроков.
1. Маршрут
Порядок линейный — уроки 0→4 идут цепочкой, повторяя сам пайплайн. Мониторинг (4) и Superset (5) более самостоятельны и работают как надстройки.
Что нужно знать заранее по Kafka: перед уроком 0 менти смотрит обзорное видео по Kafka из роадмапа — оно даёт словарь терминов. Урок 0 связывает этот словарь с тем, что менти сразу видит в живом стенде.
2. Карта уроков
| # | Урок | Эталонный путь (файлы стенда) | Статус | Режим |
|---|---|---|---|---|
| 0 | Вводный урок по Kafka | Kafka UI: топики, партиции, offset'ы, consumer-группы, отставание (lag) | обязательный | наблюдение |
| 1 | Заземление Kafka → ClickHouse | sql/ddl/stg/10_stg.sql (Kafka engine → MV → MergeTree) |
обязательный | руки |
| 2 | Слоёный ETL: где MV, а где батч | sql/ods/*, sql/dds/*, sql/dm/* (батч поверх стримингового STG) |
обязательный | руки |
| 3 | Оркестрация в Airflow | airflow/dags/etl_pipeline_dag.py (зависимости, проверки, остановка при нарушениях) |
обязательный | руки |
| 4 | Мониторинг | Prometheus + Grafana + экспортёры | обязательный | наблюдение |
| 5 | BI-витрина | Superset поверх ClickHouse | опциональный | руки |
Урок 0 — обязательная разминка (без правок кода, только наблюдение); уроки 1–3 —
с управляемыми правками; урок 4 ближе к наблюдению (глубину уточняем, см.
«Открытые вопросы» в PRD.md).
3. Аудит эталонных путей
Вердикт по каждому пути — один из трёх: годно как есть / точечно править /
переписать (критерии «учебного качества» — в LESSON_STANDARD.md).
Предварительная оценка (до детального аудита):
| Путь | Файлы | Вердикт (предв.) | Заметки |
|---|---|---|---|
| STG (Kafka→CH) | sql/ddl/stg/10_stg.sql |
годно как есть | внятные русские комментарии, метаданные доставки, обработка ошибок, партиционирование |
| ETL слои | sql/ods/*, sql/dds/*, sql/dm/* |
точечно править | логика и комментарии крепкие; проверить «тест одного прохода» |
| Airflow DAG | airflow/dags/etl_pipeline_dag.py |
под вопросом | нужен детальный аудит |
| Мониторинг | configs/*, экспортёры |
под вопросом | нужен детальный аудит |
Финальные вердикты и список конкретных правок — дописать перед стартом уроков.
4. Что дальше
После согласования этого плана — пишем уроки по одному, по шаблону из
LESSON_STANDARD.md, начиная с урока 1 (Kafka→CH). Урок 0 (разминка на Kafka UI)
можно готовить параллельно — он не зависит от полировки кода.