Commit Graph
100 Commits
Author SHA1 Message Date
ddadmin e66ed85af2 docs(readme): переработана секция «Карьера и менторство»
- Зачем:
  - плейсхолдеры и внутренние заметки ментора были видны студентам.
- Что:
  - заменён плейсхолдер про резюме на описание совместной практики с ментором.
  - секция «Навыки поиска работы с HH и Habr карьера» переименована в «Поиск работы и собеседования».
  - убран дубль ссылки на видео про испытательный срок.
  - плейсхолдеры про собесы заменены на пункт «мок-собеседования с ментором» и отметку «в подготовке».
- Проверка:
  - визуальная проверка рендеринга README.md.
2026-03-14 22:28:29 +03:00
ddadminandClaude Opus 4.6 515fa6a5de docs(readme): доработан роадмап — новые секции, исправлены ссылки, упрощено оглавление
- Зачем:
  - убраны мёртвые и архивные ссылки на чужой форк (HalltapeRoadmapDE), наполнены пустые секции, добавлены недостающие темы
- Что:
  - оглавление упрощено до H1/H2, убран self-link
  - исправлен casing GreenPlum → Greenplum
  - убраны 4 архивные ссылки на HalltapeRoadmapDE (Greenplum, DWH, Spark, dbt)
  - добавлена подсекция venv перед Jupyter Lab в формате буллет-группы
  - NiFi и Kafka объединены в секцию «Streaming (NiFi + Kafka)» с единым стендом nifi-kafka-postgres-lab
  - добавлена preview-секция «Lakehouse (Spark, Iceberg, Trino)» с русскоязычным видео и стендом mini-lakehouse-lab
  - секция dbt наполнена: quickstart, перевод документации, практика с jaffle-shop
  - обновлены вводный текст и критерии прохождения блока «Расширенные навыки»
- Проверка:
  - визуально проверить рендеринг якорей оглавления в GitHub

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-03-14 22:04:45 +03:00
ddadmin e78d5a1a35 docs(readme): реорганизована секция Greenplum и курсовой работы
- Зачем:
  - упрощение роадмапа: курсовая и практика Greenplum теперь используют один стенд.
- Что:
  - курс Yandex по Greenplum выделен как основной.
  - практика по Greenplum привязана к стенду airflow-dwh-gp-lab.
  - курсовая работа переписана под использование того же стенда.
  - добавлено описание эталонного DWH и автоматической проверки.
  - удалена секция "Стенд в Docker Compose" из оглавления.
- Проверка:
  - git diff HEAD~1 README.md.
2026-03-14 19:55:03 +03:00
ddadmin fd3f591802 Merge branch 'main' into roadmap 2026-03-14 19:31:28 +03:00
ddadmin c6c67d1fc6 merge(dwh-modeling): влита ветка dwh-modeling-basics с материалами по DWH
- Зачем:
  - объединить улучшенные учебные материалы по DWH-моделированию в основную ветку.
- Что:
  - добавлен COMMIT_RULES.md с правилами оформления коммитов.
  - добавлено решение домашнего задания (09_dml_hw_customer_status_solution.sql).
  - улучшена документация: расширены разделы 3NF и Звезда, добавлены пояснения по ODS.
  - исправлены опечатки и SQL-скрипты по результатам ревью.
  - обновлены CSV-данные для корректной работы примеров.
- Проверка:
  - git log --oneline -5.
  - просмотр изменённых файлов в dwh-modeling/.
2026-02-21 21:42:49 +03:00
ddadminandClaude Opus 4.6 b3826f47cb fix(modeling): пример витрины в README приведён в соответствие со скриптами
- customer_segment: убрана несуществующая колонка dim_customer, заменена
  на CASE по сумме (как в 06_dml_dm.sql)
- MATERIALIZED VIEW заменён на TRUNCATE + INSERT INTO (как в скриптах),
  упоминание MV оставлено в ремарке
- добавлен комментарий о недетерминированности CURRENT_DATE в bounds

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-21 19:21:39 +03:00
ddadminandClaude Opus 4.6 c6a20f3cf7 fix(modeling): исправлены ошибки по результатам перекрёстного ревью
- Зачем:
  - в статье и скриптах обнаружены фактические ошибки и несостыковки
- Что:
  - README: f.order_date -> d.date_actual в примере витрины (колонки order_date нет в fact_sales)
  - README: «календарь на 10 лет» -> «5 лет» (соответствует генерации 2023-2027 в скрипте)
  - 09_solution: bounds CTE теперь использует CURRENT_DATE для открытых интервалов (valid_to IS NULL)
  - 09_solution: комментарий про дубли в STG при повторном запуске блока 3
  - 05_ddl_dm: выравнивание total_line_items
  - AGENTS.md: обновлён диапазон скриптов 01-09
- Проверка:
  - визуальная проверка diff

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-21 15:13:38 +03:00
ddadminandClaude Opus 4.6 14a61a3b46 docs(modeling): пояснена разница между снимковым и событийным ODS
- Зачем:
  - менти видит два разных паттерна ODS (снимок vs event log) и не понимает почему
- Что:
  - в решении домашки (блок 1 ODS): комментарий, почему customer_status хранит все события
  - в домашке (раздел 3.2): пометка о сознательном выборе модели ODS
- Проверка:
  - визуальная проверка diff

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-21 14:55:38 +03:00
ddadminandClaude Opus 4.6 f830d54cd7 refactor(sql): улучшено решение домашки как учебный материал
- Зачем:
  - решение домашки должно быть самодостаточным и наглядным для самопроверки
- Что:
  - добавлены контрольные SELECT после каждого блока (ODS, DDS, инкремент, DM)
  - блок 3 (инкремент) стал самодостаточным: загрузка в STG + UPSERT в ODS + SCD2
  - DDL витрины вынесен из решения/шаблона/домашки в 07_ddl_hw_customer_status.sql
  - предусловия в домашке дополнены (05_ddl_dm.sql, пояснение про dim_date)
  - в шапку решения добавлено напоминание сначала попробовать самостоятельно
- Проверка:
  - визуальная проверка diff

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-21 14:49:49 +03:00
ddadminandClaude Opus 4.6 1d99539052 docs(modeling): расширены разделы 3NF и Звезда практическими примерами
- Зачем:
  - разделы 3NF и Звезда были слишком краткими для учебного материала,
    менти не видел разницу между моделями на практике
- Что:
  - 3NF: добавлена mermaid-диаграмма с dim_city и SQL-запрос (3 JOIN)
  - Звезда: добавлена явная связь с разделом 5, SQL-запрос (2 JOIN) для контраста
  - оба примера отвечают на один вопрос: «сколько потратил клиент из Москвы?»
- Проверка:
  - визуальная проверка diff

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-21 14:41:42 +03:00
ddadminandClaude Opus 4.6 45f8f74378 refactor(modeling): улучшены учебные материалы DWH по результатам ревью
- Зачем:
  - убрать путаницу, дублирование и неточности в демо-скриптах и домашке
- Что:
  - CSV: заголовок load_ts → _load_ts во всех файлах (совпадает с именем в таблицах)
  - домашка: убраны оговорки о расхождении load_ts/_load_ts, добавлена ссылка на эталонное решение
  - 09_dml_hw_customer_status_solution.sql: эталонное решение скопировано из ветки solution/hw_customer_status в основную
  - 02_dml: добавлена карта загрузки в шапку (что откуда строится)
  - 05_ddl_dm + 06_dml_dm: total_orders → total_line_items (название точнее отражает содержимое)
- Проверка:
  - визуальная проверка diff, скрипты не запускались (демо-стенд не поднят)

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-02-21 14:31:10 +03:00
ddadmin 8973eea064 feat(docs): добавлены правила коммитов COMMIT_RULES.md
- Зачем:
  - нужна единая спецификация для сообщений коммитов
  - облегчение code review и читаемости истории
- Что:
  - создан COMMIT_RULES.md с правилами Conventional Commits
  - адаптированы scopes под репозиторий: sql, modeling, bookings, docs, data
  - обновлена секция в AGENTS.md с ссылкой на полные правила
- Проверка:
  - git log --oneline -1
  - cat COMMIT_RULES.md | head -20
2026-02-21 14:29:23 +03:00
ddadmin 973883385b Обновлена статья DWH-моделирование: переработан раздел Data Vault, исправлены опечатки, добавлена ссылка на домашку 2026-02-21 14:05:16 +03:00
ddadmin ebeb6bbf68 мелкая правка 2026-02-01 21:22:00 +03:00
ddadmin f31e265454 Merge branch 'roadmap' 2026-02-01 21:18:45 +03:00
ddadmin a7742257f8 Расширение оглавления 2026-02-01 21:18:13 +03:00
ddadmin 39fb62fc32 Критерии усвоения методологий разработки 2026-02-01 21:07:30 +03:00
ddadmin 7b0418ccc5 Перенос подраздела в раздел 2026-02-01 21:03:47 +03:00
ddadmin cd3aed30d9 Методологии разработки 2026-02-01 18:55:40 +03:00
ddadmin d284d13046 Теория про OLAP БД 2026-01-22 21:35:11 +03:00
ddadmin 6871172da3 Главы из 2х книжек 2026-01-22 21:29:58 +03:00
ddadmin 1b73649d40 Подробнее про звезду + 3NF + иллюстрации 2026-01-20 21:15:01 +03:00
ddadmin bb52fe3de4 Уточнение названия блока 2026-01-09 21:07:53 +03:00
ddadmin 6fa530dab5 Данные для инкремента статусов 2025-12-21 21:40:43 +03:00
ddadmin 20ea175e3a Улучшения домашки 2025-12-21 21:09:52 +03:00
ddadmin a347988af2 возможные планы 2025-12-21 20:23:20 +03:00
ddadmin 855530bee5 Более понятная реализация scd2 2025-12-21 20:23:07 +03:00
ddadmin d342519bb5 одна из целей - анализ плана запросов 2025-12-21 19:56:26 +03:00
ddadmin ae00475df5 переписана реализация scd2 2025-12-21 18:50:50 +03:00
ddadmin 87301921a9 Merge branch 'roadmap' 2025-11-30 12:06:23 +03:00
ddadmin 4bec6217cf Правки по ходу перечитывания 2025-11-30 12:02:30 +03:00
ddadmin 5e1c80f870 Merge branch 'main' into roadmap 2025-11-30 11:18:36 +03:00
ddadmin ba9cdff421 Причесывание комментариев 2025-11-29 21:37:03 +03:00
ddadmin eb9215c4f1 Уулчшения витрин 2025-11-29 21:24:08 +03:00
ddadmin e659fbb731 Исправление неточностей 2025-11-29 20:46:03 +03:00
ddadmin 218c6b9fe7 Исправлиение примера с scd2 2025-11-29 20:16:16 +03:00
ddadmin 2d78fb4459 Домашка по моделированию 2025-11-23 18:31:43 +03:00
ddadmin 04573efda1 Раздел про курсовую работу 2025-11-23 18:16:18 +03:00
ddadmin e53fa0b9d4 Очередная чистка мелких шероховатостей 2025-11-23 17:58:17 +03:00
ddadmin 26a35b0560 DoD по разделам 2025-11-23 17:47:05 +03:00
ddadmin e37c1ed1cc Критерии пройденности разделов 2025-11-23 17:36:06 +03:00
ddadmin 805141a0b9 Смена тональности обращений 2025-11-23 13:30:15 +03:00
ddadmin e5615c9419 Расширен раздел с GreenPlum 2025-11-23 13:18:34 +03:00
ddadmin 64fe665cdc Ссылки на ментора 2025-11-23 12:46:11 +03:00
ddadmin d46d9848f4 Полировка формулировок 2025-11-23 12:20:35 +03:00
ddadmin d5cee7ae6d Про аудит 2025-11-23 12:15:35 +03:00
ddadmin d8c98c73c5 Добавлена шпаргалка 2025-11-23 12:13:53 +03:00
ddadmin add67223b8 Мелкие правки 2025-11-23 12:07:59 +03:00
ddadmin 0521b6cc9a Правка реализации истории 2025-11-23 11:56:51 +03:00
ddadmin ee4b6ae5a4 AI guideline 2025-11-23 11:37:04 +03:00
ddadmin 58fe605116 Добавлено оглавление 2025-11-15 21:38:59 +03:00
ddadmin 71d885a9db Чистка заголовков 2025-11-15 21:20:52 +03:00
ddadmin b2ae216b07 Merge branch 'main' into dwh-modeling-basics 2025-11-15 21:01:04 +03:00
ddadmin f1338ccfc5 Детальнее про pit и bridge таблицы 2025-11-15 20:59:53 +03:00
ddadmin aa3ebbfd7c Переработка структуры 2025-11-15 20:47:08 +03:00
ddadmin 32ffcfb4c5 Фикс диаграммы в практикуме 2025-11-15 20:44:59 +03:00
ddadmin 5f16476c81 Первый вариант статьи про DV 2025-11-15 20:00:58 +03:00
ddadmin bb9902a448 Упрощение раздела про DV 2025-11-15 19:08:20 +03:00
ddadmin c66ba776c2 Пересобран раздел 8 2025-11-15 18:43:43 +03:00
ddadmin 51c33a543d Маленькая склейка 2025-11-15 18:36:25 +03:00
ddadmin e48fa424e2 Еще битые ссылки 2025-11-15 18:33:46 +03:00
ddadmin 9175f84cf9 Битые ссылки 2025-11-15 18:29:23 +03:00
ddadmin ecb41941fc Улучшения диаграммы в "базовые понятия" 2025-11-15 18:13:06 +03:00
ddadmin a8a122bdfa Переделка раздела советов для сомневающихся 2025-11-15 17:57:35 +03:00
ddadmin e7ba8cebd0 Еще материал по DV 2025-11-15 13:03:52 +03:00
ddadmin 0d9bb047a4 Раздел про Data Vault 2025-11-15 12:53:02 +03:00
ddadmin ff6086ff21 Стилистическая правка 2025-11-15 12:29:31 +03:00
ddadmin dabcadfc19 Правка ошибок 2025-11-10 11:22:47 +03:00
ddadmin fde77d33ce Интеграция структуры хранилища данных в общий план обучения 2025-11-09 13:30:44 +03:00
ddadmin d5220adcf0 В статью добавлены ссылки на скрипты с учебным примером 2025-11-08 22:16:11 +03:00
ddadmin 3cbaeb5fc2 Переименования скриптов 2025-11-08 20:42:35 +03:00
ddadmin a234c2954d Вычитка статьи 2025-11-08 20:40:04 +03:00
ddadmin c52d0d8b31 Стилистические правки 2025-11-08 19:21:43 +03:00
ddadmin be1557716f Забыли заполнить dds.orders 2025-11-07 16:31:23 +03:00
ddadmin cefe9971b8 Проверки 2025-11-07 16:31:09 +03:00
ddadmin 3cb77d9cf6 SCD2 теперь строится 2025-11-07 16:15:25 +03:00
ddadmin 57d1dd3186 Уточнения по SCD 2 - бех юэкфилл 2025-11-07 15:46:52 +03:00
ddadmin b29de24c31 SCD2 для dim_customers 2025-11-07 15:10:30 +03:00
ddadmin 42c8515b62 Доработки идей 2025-11-07 12:25:41 +03:00
ddadmin dfc5748358 Чистовик статьи + материалы 2025-11-07 11:05:44 +03:00
ddadmin fa42a4508f Дальнейшая доработка 2025-11-07 10:22:11 +03:00
ddadmin ee55515b54 Развитие идей 2025-11-07 09:58:37 +03:00
ddadmin acfbc4d037 Правка плани 2025-11-04 23:15:14 +03:00
ddadmin a17c775c1d Вариант от deepseek 2025-11-04 21:26:13 +03:00
ddadmin 1879eb341f Чистка 2025-11-04 21:22:03 +03:00
ddadmin fc6282a4d4 Чистка заголовков 2025-11-04 21:12:15 +03:00
ddadmin 960bfa3ce0 Фикс графиков 2025-11-04 21:00:31 +03:00
ddadmin e16ea6e0cf Первоначальный план статьи 2025-11-04 20:54:14 +03:00
ddadmin e9b50406e3 Пререработка структуры заголовков 2025-11-04 18:00:40 +03:00
ddadmin 197ef1b0d2 Упрощение 2025-11-04 17:45:03 +03:00
ddadmin f18bd7ea39 Раскрыт детальнее update для trino 2025-11-04 17:39:17 +03:00
ddadmin f789839643 Расширен раздел про SCD2 для append-only систем 2025-11-04 17:20:35 +03:00
ddadmin 1730f6801b Документация по dbc 2025-11-03 17:36:49 +03:00
ddadmin 20acb883a9 Merge branch 'main' of github.com-dementev:dementev-dev/de-roadmap 2025-10-26 22:24:18 +03:00
ddadmin 4979a1dc57 Больше материалов по Python 2025-10-26 22:24:14 +03:00
ddadmin 63b8811776 Ссылка на статью про Parquet и Iceberg 2025-10-24 10:35:10 +03:00
ddadmin 43fb42cfb0 Ссылка на учебник 2025-10-19 22:27:23 +03:00
ddadmin 9793ab209e Ссылка на Jupyter Lab 2025-10-19 16:13:00 +03:00
ddadmin d25db5b780 Развитие тематики Python 2025-10-19 13:17:29 +03:00
ddadmin 15f4140ef8 Фикс оформления 2025-10-19 13:13:29 +03:00