Commit Graph
132 Commits
Author SHA1 Message Date
ddadminandClaude Opus 4.6 f1d118b81e docs(project): обновлён статус Спринта 2, добавлен TODO
- Зачем:
  - зафиксировать прогресс Спринта 2 и запланированные задачи.
- Что:
  - PRD: отмечены выполненные пункты (Telegram, Метрика, collapsible).
  - добавлен project/TODO.md с задачами: перенос учебника Airflow, переработка раздела «Сложность алгоритмов», бейджи статуса.
  - домашка DWH: эталонное решение обёрнуто в <details> (dual-compatible).
- Проверка:
  - mkdocs build --strict без ошибок.

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
2026-03-29 19:57:05 +03:00
ddadminandClaude Opus 4.6 66267e8b8c feat(site): подключена Яндекс.Метрика (счётчик 108294923)
- Зачем:
  - нужна базовая аналитика посещаемости сайта.
- Что:
  - добавлен скрипт Яндекс.Метрики в блок extrahead шаблона overrides/main.html.
  - включены вебвизор, карта кликов и точный показатель отказов.
- Проверка:
  - mkdocs build --strict без ошибок.
  - счётчик присутствует на всех страницах собранного сайта.

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
2026-03-29 19:23:41 +03:00
ddadminandClaude Opus 4.6 33a95cc3e4 feat(site): добавлена кнопка «Написать в Telegram» и соцсети в футер
- Зачем:
  - менти и посетителям сайта нужен быстрый способ связаться с ментором.
- Что:
  - добавлена floating-кнопка Telegram (левый нижний угол, всегда видна при скролле).
  - добавлены иконки Telegram и GitHub в футер через extra.social.
  - создан template override (overrides/main.html) с inline-стилями.
- Проверка:
  - mkdocs build --strict проходит без ошибок.
  - кнопка видна на всех страницах, ведёт на t.me/dementev_dev.

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
2026-03-29 19:04:50 +03:00
ddadmin f62c6f761b docs(project): обновлён статус PRD — Спринт 1 завершён
- Зачем:
  - зафиксировать прогресс и актуальное состояние проекта.
- Что:
  - отмечены все чекбоксы MVP (Спринт 1) как выполненные.
  - отмечены кастомный домен и тёмная тема в Спринте 2.
  - обновлён URL сайта на de.dementev.space.
- Проверка:
  - project/PRD.md читаем на GitHub.
2026-03-27 23:28:27 +03:00
ddadmin 7dc5a2ae59 feat(site): подключён кастомный домен de.dementev.space
- Зачем:
  - презентабельный URL вместо dementev-dev.github.io/de-roadmap.
- Что:
  - добавлен файл CNAME с записью de.dementev.space.
  - обновлён site_url в mkdocs.yml.
- Проверка:
  - после распространения DNS: https://de.dementev.space/
2026-03-27 23:21:45 +03:00
ddadminandGitHub 537e77eba6 Merge pull request #1 from dementev-dev/feature/mkdocs-site
feat(site): MkDocs Material сайт с деплоем на GitHub Pages
2026-03-27 23:07:09 +03:00
ddadmin a1f2643841 feat(site): добавлен MkDocs Material сайт с CI/CD на GitHub Pages
- Зачем:
  - роадмап нуждается в презентабельном виде с навигацией и поиском, а не только GitHub README.
- Что:
  - создан mkdocs.yml (Material, docs_dir: ., поиск на русском, тёмная/светлая тема).
  - создан .github/workflows/deploy-site.yml (push в main → сборка → GitHub Pages).
  - адаптирован Markdown для dual compatibility (GitHub + MkDocs): пустые строки перед списками, отступы 2sp→4sp, заголовки README #→## для корректного TOC.
  - заменены em-dash на запятые в 4 заголовках dwh-modeling/README.md (фикс расхождения якорей).
  - добавлены правила Markdown Style и команды MkDocs/Playwright в AGENTS.md.
- Проверка:
  - uv run --with 'mkdocs-material==9.6.14' --with 'mkdocs-same-dir==0.1.3' mkdocs build --strict
2026-03-27 22:57:15 +03:00
ddadmin 721ed4163b docs(project): добавлены PRD и ADR для сайта de-roadmap
- Зачем:
  - зафиксировать проектные решения до начала реализации.
- Что:
  - добавлен project/PRD.md — требования, цели, итерации и риски.
  - добавлен project/ADR.md — выбор MkDocs Material, структура файлов, стратегия dual-compatible ссылок, конфиг CI/CD.
- Проверка:
  - файлы читаемы на GitHub: project/PRD.md и project/ADR.md.
2026-03-25 23:38:34 +03:00
ddadmin 2967664e43 Merge branch 'roadmap' 2026-03-15 16:56:27 +03:00
ddadmin e66ed85af2 docs(readme): переработана секция «Карьера и менторство»
- Зачем:
  - плейсхолдеры и внутренние заметки ментора были видны студентам.
- Что:
  - заменён плейсхолдер про резюме на описание совместной практики с ментором.
  - секция «Навыки поиска работы с HH и Habr карьера» переименована в «Поиск работы и собеседования».
  - убран дубль ссылки на видео про испытательный срок.
  - плейсхолдеры про собесы заменены на пункт «мок-собеседования с ментором» и отметку «в подготовке».
- Проверка:
  - визуальная проверка рендеринга README.md.
2026-03-14 22:28:29 +03:00
ddadmin deed1a4bcc merge(roadmap): доработки README — новые секции, исправлены ссылки, упрощено оглавление 2026-03-14 22:09:50 +03:00
ddadminandClaude Opus 4.6 515fa6a5de docs(readme): доработан роадмап — новые секции, исправлены ссылки, упрощено оглавление
- Зачем:
  - убраны мёртвые и архивные ссылки на чужой форк (HalltapeRoadmapDE), наполнены пустые секции, добавлены недостающие темы
- Что:
  - оглавление упрощено до H1/H2, убран self-link
  - исправлен casing GreenPlum → Greenplum
  - убраны 4 архивные ссылки на HalltapeRoadmapDE (Greenplum, DWH, Spark, dbt)
  - добавлена подсекция venv перед Jupyter Lab в формате буллет-группы
  - NiFi и Kafka объединены в секцию «Streaming (NiFi + Kafka)» с единым стендом nifi-kafka-postgres-lab
  - добавлена preview-секция «Lakehouse (Spark, Iceberg, Trino)» с русскоязычным видео и стендом mini-lakehouse-lab
  - секция dbt наполнена: quickstart, перевод документации, практика с jaffle-shop
  - обновлены вводный текст и критерии прохождения блока «Расширенные навыки»
- Проверка:
  - визуально проверить рендеринг якорей оглавления в GitHub

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-03-14 22:04:45 +03:00
ddadmin e78d5a1a35 docs(readme): реорганизована секция Greenplum и курсовой работы
- Зачем:
  - упрощение роадмапа: курсовая и практика Greenplum теперь используют один стенд.
- Что:
  - курс Yandex по Greenplum выделен как основной.
  - практика по Greenplum привязана к стенду airflow-dwh-gp-lab.
  - курсовая работа переписана под использование того же стенда.
  - добавлено описание эталонного DWH и автоматической проверки.
  - удалена секция "Стенд в Docker Compose" из оглавления.
- Проверка:
  - git diff HEAD~1 README.md.
2026-03-14 19:55:03 +03:00
ddadmin fd3f591802 Merge branch 'main' into roadmap 2026-03-14 19:31:28 +03:00
ddadmin c6c67d1fc6 merge(dwh-modeling): влита ветка dwh-modeling-basics с материалами по DWH
- Зачем:
  - объединить улучшенные учебные материалы по DWH-моделированию в основную ветку.
- Что:
  - добавлен COMMIT_RULES.md с правилами оформления коммитов.
  - добавлено решение домашнего задания (09_dml_hw_customer_status_solution.sql).
  - улучшена документация: расширены разделы 3NF и Звезда, добавлены пояснения по ODS.
  - исправлены опечатки и SQL-скрипты по результатам ревью.
  - обновлены CSV-данные для корректной работы примеров.
- Проверка:
  - git log --oneline -5.
  - просмотр изменённых файлов в dwh-modeling/.
2026-02-21 21:42:49 +03:00
ddadminandClaude Opus 4.6 b3826f47cb fix(modeling): пример витрины в README приведён в соответствие со скриптами
- customer_segment: убрана несуществующая колонка dim_customer, заменена
  на CASE по сумме (как в 06_dml_dm.sql)
- MATERIALIZED VIEW заменён на TRUNCATE + INSERT INTO (как в скриптах),
  упоминание MV оставлено в ремарке
- добавлен комментарий о недетерминированности CURRENT_DATE в bounds

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-21 19:21:39 +03:00
ddadminandClaude Opus 4.6 c6a20f3cf7 fix(modeling): исправлены ошибки по результатам перекрёстного ревью
- Зачем:
  - в статье и скриптах обнаружены фактические ошибки и несостыковки
- Что:
  - README: f.order_date -> d.date_actual в примере витрины (колонки order_date нет в fact_sales)
  - README: «календарь на 10 лет» -> «5 лет» (соответствует генерации 2023-2027 в скрипте)
  - 09_solution: bounds CTE теперь использует CURRENT_DATE для открытых интервалов (valid_to IS NULL)
  - 09_solution: комментарий про дубли в STG при повторном запуске блока 3
  - 05_ddl_dm: выравнивание total_line_items
  - AGENTS.md: обновлён диапазон скриптов 01-09
- Проверка:
  - визуальная проверка diff

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-21 15:13:38 +03:00
ddadminandClaude Opus 4.6 14a61a3b46 docs(modeling): пояснена разница между снимковым и событийным ODS
- Зачем:
  - менти видит два разных паттерна ODS (снимок vs event log) и не понимает почему
- Что:
  - в решении домашки (блок 1 ODS): комментарий, почему customer_status хранит все события
  - в домашке (раздел 3.2): пометка о сознательном выборе модели ODS
- Проверка:
  - визуальная проверка diff

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-21 14:55:38 +03:00
ddadminandClaude Opus 4.6 f830d54cd7 refactor(sql): улучшено решение домашки как учебный материал
- Зачем:
  - решение домашки должно быть самодостаточным и наглядным для самопроверки
- Что:
  - добавлены контрольные SELECT после каждого блока (ODS, DDS, инкремент, DM)
  - блок 3 (инкремент) стал самодостаточным: загрузка в STG + UPSERT в ODS + SCD2
  - DDL витрины вынесен из решения/шаблона/домашки в 07_ddl_hw_customer_status.sql
  - предусловия в домашке дополнены (05_ddl_dm.sql, пояснение про dim_date)
  - в шапку решения добавлено напоминание сначала попробовать самостоятельно
- Проверка:
  - визуальная проверка diff

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-21 14:49:49 +03:00
ddadminandClaude Opus 4.6 1d99539052 docs(modeling): расширены разделы 3NF и Звезда практическими примерами
- Зачем:
  - разделы 3NF и Звезда были слишком краткими для учебного материала,
    менти не видел разницу между моделями на практике
- Что:
  - 3NF: добавлена mermaid-диаграмма с dim_city и SQL-запрос (3 JOIN)
  - Звезда: добавлена явная связь с разделом 5, SQL-запрос (2 JOIN) для контраста
  - оба примера отвечают на один вопрос: «сколько потратил клиент из Москвы?»
- Проверка:
  - визуальная проверка diff

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-21 14:41:42 +03:00
ddadminandClaude Opus 4.6 45f8f74378 refactor(modeling): улучшены учебные материалы DWH по результатам ревью
- Зачем:
  - убрать путаницу, дублирование и неточности в демо-скриптах и домашке
- Что:
  - CSV: заголовок load_ts → _load_ts во всех файлах (совпадает с именем в таблицах)
  - домашка: убраны оговорки о расхождении load_ts/_load_ts, добавлена ссылка на эталонное решение
  - 09_dml_hw_customer_status_solution.sql: эталонное решение скопировано из ветки solution/hw_customer_status в основную
  - 02_dml: добавлена карта загрузки в шапку (что откуда строится)
  - 05_ddl_dm + 06_dml_dm: total_orders → total_line_items (название точнее отражает содержимое)
- Проверка:
  - визуальная проверка diff, скрипты не запускались (демо-стенд не поднят)

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-21 14:31:10 +03:00
ddadmin 8973eea064 feat(docs): добавлены правила коммитов COMMIT_RULES.md
- Зачем:
  - нужна единая спецификация для сообщений коммитов
  - облегчение code review и читаемости истории
- Что:
  - создан COMMIT_RULES.md с правилами Conventional Commits
  - адаптированы scopes под репозиторий: sql, modeling, bookings, docs, data
  - обновлена секция в AGENTS.md с ссылкой на полные правила
- Проверка:
  - git log --oneline -1
  - cat COMMIT_RULES.md | head -20
2026-02-21 14:29:23 +03:00
ddadmin 973883385b Обновлена статья DWH-моделирование: переработан раздел Data Vault, исправлены опечатки, добавлена ссылка на домашку 2026-02-21 14:05:16 +03:00
ddadmin ebeb6bbf68 мелкая правка 2026-02-01 21:22:00 +03:00
ddadmin f31e265454 Merge branch 'roadmap' 2026-02-01 21:18:45 +03:00
ddadmin a7742257f8 Расширение оглавления 2026-02-01 21:18:13 +03:00
ddadmin 39fb62fc32 Критерии усвоения методологий разработки 2026-02-01 21:07:30 +03:00
ddadmin 7b0418ccc5 Перенос подраздела в раздел 2026-02-01 21:03:47 +03:00
ddadmin cd3aed30d9 Методологии разработки 2026-02-01 18:55:40 +03:00
ddadmin d284d13046 Теория про OLAP БД 2026-01-22 21:35:11 +03:00
ddadmin 6871172da3 Главы из 2х книжек 2026-01-22 21:29:58 +03:00
ddadmin 1b73649d40 Подробнее про звезду + 3NF + иллюстрации 2026-01-20 21:15:01 +03:00
ddadmin bb52fe3de4 Уточнение названия блока 2026-01-09 21:07:53 +03:00
ddadmin 6fa530dab5 Данные для инкремента статусов 2025-12-21 21:40:43 +03:00
ddadmin 20ea175e3a Улучшения домашки 2025-12-21 21:09:52 +03:00
ddadmin a347988af2 возможные планы 2025-12-21 20:23:20 +03:00
ddadmin 855530bee5 Более понятная реализация scd2 2025-12-21 20:23:07 +03:00
ddadmin d342519bb5 одна из целей - анализ плана запросов 2025-12-21 19:56:26 +03:00
ddadmin ae00475df5 переписана реализация scd2 2025-12-21 18:50:50 +03:00
ddadmin 87301921a9 Merge branch 'roadmap' 2025-11-30 12:06:23 +03:00
ddadmin 4bec6217cf Правки по ходу перечитывания 2025-11-30 12:02:30 +03:00
ddadmin 5e1c80f870 Merge branch 'main' into roadmap 2025-11-30 11:18:36 +03:00
ddadmin ba9cdff421 Причесывание комментариев 2025-11-29 21:37:03 +03:00
ddadmin eb9215c4f1 Уулчшения витрин 2025-11-29 21:24:08 +03:00
ddadmin e659fbb731 Исправление неточностей 2025-11-29 20:46:03 +03:00
ddadmin 218c6b9fe7 Исправлиение примера с scd2 2025-11-29 20:16:16 +03:00
ddadmin 2d78fb4459 Домашка по моделированию 2025-11-23 18:31:43 +03:00
ddadmin 04573efda1 Раздел про курсовую работу 2025-11-23 18:16:18 +03:00
ddadmin e53fa0b9d4 Очередная чистка мелких шероховатостей 2025-11-23 17:58:17 +03:00
ddadmin 26a35b0560 DoD по разделам 2025-11-23 17:47:05 +03:00