ddadmin
707da9f80e
- Зачем:
- урок 4 должен показывать не только измерение сирот в DDS, но и остановку Airflow DAG при нарушении связи dds.event -> dds.click.
- Что:
- добавлен assert_dds_integrity в etl_pipeline и документация управляемого красного сценария.
- вынесены общие helper'ы для SQL-split и boolean-параметров Airflow.
- добавлен урок 4 и обновлены навигация курса, план обучения и operations notes.
- Проверка:
- python3 -m py_compile airflow/dags/etl_pipeline_dag.py airflow/dags/ddl_init_dag.py airflow/dags/kafka_load_dag.py airflow/dags/utils/airflow_params.py airflow/dags/utils/sql_helpers.py.
- docker compose exec -T airflow-webserver airflow dags test etl_pipeline 2026-06-05T18:00:00 -c '{"full_refresh": true}'.
Курс «Кликстрим на ClickHouse» (со звёздочкой)
Продвинутый курс для менти, уже прошедших базовую программу: основные паттерны инженерии данных на стенде Kafka + ClickHouse + Airflow + мониторинг. Менти проходит материал самостоятельно, а на еженедельном созвоне с ментором разбирает затыки и отвечает на вопросы по теме — чтобы проверить глубину понимания.
Сам курс — это блок «со звёздочкой» открытого роадмапа Data Engineer (de.dementev.space, он же на GitHub). Роадмап открыт и устроен так, что идти по нему можно в одиночку; с ментором — ощутимо короче дорога: добавляются персональный план, разбор домашек и код-ревью.
Что где искать
| Файл | Что это | Когда открывать |
|---|---|---|
PRD.md |
Рамка: зачем курс, цели, аудитория, скоуп, критерии успеха | Чтобы понять «что и зачем». Замороженный документ |
LEARNING_PLAN.md |
План обучения: карта уроков, маршрут, аудит эталонных путей | Чтобы понять «в каком порядке и из чего» |
LESSON_STANDARD.md |
Стандарт уроков: шаблон урока, качество кода, самопроверка | Рабочий чеклист при написании каждого урока |
lessons/ |
Сами уроки, по одному файлу (есть: уроки 0–4) | Прохождение курса менти |
Порядок чтения
- Новому участнику (или будущей сессии): начать с
PRD.md, затемLEARNING_PLAN.md. - Перед написанием урока: держать открытым
LESSON_STANDARD.md.
Границы
Материалы под конкретного менти (привязка к работодателю, легенда, подготовка к собесам) в этот репозиторий не кладём — репозиторий публичный, приватное живёт в менторской базе.