ddadmin
256ac14c66
- Зачем:
- нужен учебный урок «руки» про типизацию слоя ODS и разделение
чистых/битых записей; по пути убрать мусор и неочевидности в
эталонном пути, чтобы он читался за один проход.
- Что:
- добавлен lessons/02_stg_to_ods.md по LESSON_STANDARD (6 секций,
режим «руки», эталон голоса — урок 1); регистр смягчён под уровень
«обзорно» с расшифровкой терминов (click-контекст, WITH, двойной учёт).
- 20_stg_to_ods.sql: поток данных в шапку + блок «DQ-split» (почему
строка может попасть и в основную таблицу, и в *_errors).
- 20_ods.sql: убран мусорный блок из 8 DROP TABLE mv_*_to_ods;
пояснено разное партиционирование (browser — по бизнес-дате,
click-контекст — по дате загрузки).
- Проверка:
- make ddl && make transform — проходят чисто, counts не изменились
(browser/location 50, device/geo 26 дедуп, *_errors 0).
- правка §4 (toFloat64OrNull→toInt64OrNull для geo_latitude) на стенде
даёт geo_by_click_errors 0→50 и NULL-широту с флагом bad_geo_latitude.
Курс «Кликстрим на ClickHouse» (со звёздочкой)
Продвинутый курс для менти, уже прошедших базовую программу: основные паттерны инженерии данных на стенде Kafka + ClickHouse + Airflow + мониторинг. Менти проходит материал самостоятельно, а на еженедельном созвоне с ментором разбирает затыки и отвечает на вопросы по теме — чтобы проверить глубину понимания.
Сам курс — это блок «со звёздочкой» открытого роадмапа Data Engineer (de.dementev.space, он же на GitHub). Роадмап открыт и устроен так, что идти по нему можно в одиночку; с ментором — ощутимо короче дорога: добавляются персональный план, разбор домашек и код-ревью.
Что где искать
| Файл | Что это | Когда открывать |
|---|---|---|
PRD.md |
Рамка: зачем курс, цели, аудитория, скоуп, критерии успеха | Чтобы понять «что и зачем». Замороженный документ |
LEARNING_PLAN.md |
План обучения: карта уроков, маршрут, аудит эталонных путей | Чтобы понять «в каком порядке и из чего» |
LESSON_STANDARD.md |
Стандарт уроков: шаблон урока, качество кода, самопроверка | Рабочий чеклист при написании каждого урока |
lessons/ |
Сами уроки, по одному файлу (есть: уроки 0 и 1) | Прохождение курса менти |
Порядок чтения
- Новому участнику (или будущей сессии): начать с
PRD.md, затемLEARNING_PLAN.md. - Перед написанием урока: держать открытым
LESSON_STANDARD.md.
Границы
Материалы под конкретного менти (привязка к работодателю, легенда, подготовка к собесам) в этот репозиторий не кладём — репозиторий публичный, приватное живёт в менторской базе.