From e5615c941977a85a278ff2e6bac8042838181fc6 Mon Sep 17 00:00:00 2001 From: Dmitry Dementev Date: Sun, 23 Nov 2025 13:18:34 +0300 Subject: [PATCH] =?UTF-8?q?=D0=A0=D0=B0=D1=81=D1=88=D0=B8=D1=80=D0=B5?= =?UTF-8?q?=D0=BD=20=D1=80=D0=B0=D0=B7=D0=B4=D0=B5=D0=BB=20=D1=81=20GreenP?= =?UTF-8?q?lum?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- README.md | 74 +++++++++++++++++++++++++++++++++++++++++-------------- 1 file changed, 55 insertions(+), 19 deletions(-) diff --git a/README.md b/README.md index 2e2a34a..cf423f4 100644 --- a/README.md +++ b/README.md @@ -1,20 +1,45 @@ +# О роадмапе + +Этот роадмап — конспект моих подходов к обучению Data Engineering. +Он подойдёт тем, кто хочет: +- системно войти в профессию с нуля или близкого к нулю уровня; +- закрыть пробелы в базе (SQL, Git, Python, DWH, Airflow, GreenPlum); +- подготовиться к собеседованиям и первым рабочим задачам. + +Роадмап можно проходить самостоятельно или вместе со мной в формате менторства. +Если хотите идти с поддержкой ментора — напишите в Telegram: [@dementev_dev](https://t.me/dementev_dev). + +## Оглавление + +- [Основные знания](#основные-знания) +- [Практика и инструменты](#практика-и-инструменты) +- [Карьера и менторство](#карьера-и-менторство) +- [Расширенные навыки](#расширенные-навыки) +- [Софт скиллы](#софт-скиллы) +- [Дополнительные материалы](#дополнительные-материалы) + +Рекомендуемый способ использования: +- двигаться по разделам последовательно, не перепрыгивая через базу; +- выполнять практику и домашки, а не только смотреть материалы; +- возвращаться к разделам по мере появления реальных задач. + # Основные знания -> Этот роадмап можно проходить самостоятельно или вместе со мной в формате менторства. -> Если хотите идти с поддержкой ментора — напишите в Telegram: [@dementev_dev](https://t.me/dementev_dev). +## Git и базовые инструменты -## База по Git +### База по Git Что такое контроль версий, когда используется, ПОЧЕМУ и как мы в обучении будем использовать. Как создать репозиторий на GitHub, сохранять в нем изменения. - [Что такое Git для Начинающих / GitHub за 30 минут / Git Уроки - Youtube](https://www.youtube.com/watch?v=VJm_AjiTEEc) - Книга [Pro Git](https://git-scm.com/book/ru/v2) - читать главу 1 -Основы Markdown +### Основы Markdown - [Язык Markdown и файл README | Git и GitHub для начинающих - Youtube](https://www.youtube.com/watch?v=8lEDTrr-G4U) - [Markdown и его возможности: простой способ оформления текста](https://kurshub.ru/journal/blog/markdown-chto-eto/) - [Синтаксис Markdown: подробная шпаргалка для веб-разработчиков / Skillbox Media](https://skillbox.ru/media/code/yazyk-razmetki-markdown-shpargalka-po-sintaksisu-s-primerami/) Домашки по остальным темам тренируемся делать в Git, там же пишем документацию. + ## SQL ### База по SQL Книга: [PostgreSQL. Основы языка SQL](https://postgrespro.ru/education/books/sqlprimer) - Глава 1 "Введение в базы данных и SQL" + ДЗ @@ -101,11 +126,8 @@ Цель - LiveCoding простых задач Python, далее нужно будет для создания DAG Airflow ## Технические навыки -### Запись встреч -OBS Studio -[Настройка записи экрана](https://docs.google.com/document/d/1qd8uRYlAaZp9c5zpvCVBOvYQCEukGHI9PEPjnjahI1k/) -### Git +### Продвинутый Git - Сжатый, но емкий видеогайд: [GIT, GitHub, GitLab. Полный АКТУАЛЬНЫЙ гайд ЗА ПОЛТОРА ЧАСА. Без этого выгонят с работы - Youtube](https://www.youtube.com/watch?v=0Y-fneoUIO8) - Книга: [Pro Git](https://git-scm.com/book/ru/v2) - главы - 2 Основы Git @@ -131,6 +153,12 @@ OBS Studio Понимание этих концепций помогает быстрее адаптироваться в новых проектах и правильно интерпретировать требования. +### Запись встреч +OBS Studio +[Настройка записи экрана](https://docs.google.com/document/d/1qd8uRYlAaZp9c5zpvCVBOvYQCEukGHI9PEPjnjahI1k/) + +# Практика и инструменты + ## Airflow Apache Airflow — инструмент для оркестрации ETL-процессов. @@ -143,11 +171,26 @@ Apache Airflow — инструмент для оркестрации ETL-про - [Учебник по Airflow](https://github.com/dementev-dev/airflow-manual) +## Greenplum +Разбираем, чем Greenplum отличается от PostgreSQL и зачем нужны MPP-хранилища. + +Предварительно: +- Простое введение: [Greenplum | Что это такое и как оно работает? - Youtube](https://www.youtube.com/watch?v=rLG9Z_HcKPY) +- Оно же, но текстом: https://halltape.github.io/HalltapeRoadmapDE/GREENPLUM/ +- [Визуализатор распределения Greenplum](https://gpskew.rzvde.pro/) +- Бесплатный, но большой учебный курс от Yandex: https://yandex.cloud/ru/training/greenplum +- [Учебный курс по Greenplum от datafiner](https://datafinder.ru/products/uchebnyy-kurs-po-greenplum) — взять только отдельные главы. + +Практика (минимум, чтобы уверенно чувствовать себя на собеседованиях): +- [DE Starter Kit — Airflow + Greenplum + CSV](https://github.com/dementev-dev/airflow-greenplum) + +Сложные варианты с виртуалками — только если менти сильно захочет, в базовый путь не включаем. + ## Курсовая работа ### Стенд в Docker Compose - Apache Airflow - Источник данных - TelecomX -- Postgres +- GreenPlum - ETL - Исходные коды всего - в Git @@ -159,6 +202,8 @@ Apache Airflow — инструмент для оркестрации ETL-про Это помогает избегать «тормозящих» решений на собеседованиях и в реальных пайплайнах. +# Карьера и менторство + ## Менторство по этому роадмапу Если вы нашли этот роадмап в интернете и хотите пройти его не в одиночку, а с поддержкой ментора, можно присоединиться ко мне. @@ -207,7 +252,6 @@ Apache Airflow — инструмент для оркестрации ETL-про Мы кратко знакомимся с: -- **Greenplum** — MPP-хранилищем на базе PostgreSQL для распределённых запросов; - **Apache NiFi** и **Kafka** — инструментами для построения потоковых и интеграционных пайплайнов; - **ClickHouse** — колоночной СУБД для высоконагруженной аналитики; - **dbt** — подходом к трансформации данных как кода. @@ -216,14 +260,6 @@ Apache Airflow — инструмент для оркестрации ETL-про Этого достаточно, чтобы уверенно говорить об инструменте на собеседовании и понимать его место в архитектуре — а всё остальное при необходимости осваивается уже на проекте. -## Greenplum -Дать теоретический материал - разница с Postgres. -Предварительно: [Учебный курс по Greenplum](https://datafinder.ru/products/uchebnyy-kurs-po-greenplum) - дать только отдельные главы -Контейнер с GreenPlum, несколько домашек по нему, чтобы прочувствовать работу распределенных запросов. -- [sergeyosechkin/greenplum Tags | Docker Hub](https://hub.docker.com/r/sergeyosechkin/greenplum/tags) -- [Как собрать Docker-образ Greengage DB | Greengage DB Docs](https://greengagedb.org/ru/docs-gg/current/use_docker.html) -В сложности с виртуалками - только если менти сильно захочет. Не буду рекомендовать. - ## ClickHouse Бесплатный курс https://yandex.cloud/ru/training/clickhouse Платный курс [ClickHouse для аналитика – Stepik](https://stepik.org/course/100210/promo?search=6551441002) @@ -249,7 +285,7 @@ dbt (data build tool) — инструмент для трансформации - [Гайд как писать отзывы](https://boosty.to/m0rtymerr/posts/b04040ec-0f46-4524-9c75-188a513140ad?share=post_link) - [Гайд по Антистрессу](https://youtu.be/bu0YiXOKaoU) -# Тех. материалы несортировано +# Дополнительные материалы - [ananevsyu/SandBox_DB_public: Песочница для изучения различных технологий связанных с инженерией данных](https://gitflic.ru/project/ananevsyu/sandbox_db_public) - Клон проекта [dementev_dev/sandbox_db_public-форк](https://gitflic.ru/project/dementev_dev/sandbox_db_public-fork) - [Индексы в БД - Youtube](https://www.youtube.com/watch?v=DyqtBiDrz3g)