План обучения - Data Engineering с нуля до middle
Основные знания
База по Git
Что такое контроль версий, когда используется, ПОЧЕМУ и как мы в обучении будем использовать. Как создать репозиторий на GitHub, сохранять в нем изменения.
- Что такое Git для Начинающих / GitHub за 30 минут / Git Уроки - Youtube
- Книга Pro Git - читать главу 1
Основы Markdown
- Язык Markdown и файл README | Git и GitHub для начинающих - Youtube
- Markdown и его возможности: простой способ оформления текста
- Синтаксис Markdown: подробная шпаргалка для веб-разработчиков / Skillbox Media
SQL
База по SQL
Книга: PostgreSQL. Основы языка SQL - Глава 1 "Введение в базы данных и SQL" + ДЗ в конце главы
Бесплатный тренажер: Интерактивный тренажер по SQL – Stepik Целевой уровень знания SQL - Live кодинг на собесе. Проверяем на первом мок-интервью В помощь: SQL 50 - Study Plan - LeetCode
Повышение знаний SQL
Выполнение домашек в виртуалке от PostgresPro DBA 1- первый виртуальный стенд dba1_student_guide.pdf Лекция DBA1-16. 02. Использование psql + текстовые материалы лекции
- Книга: PostgreSQL. Основы языка SQL
- Глава 8 - Индексы + ДЗ
- Глава 9 - Транзакции
- Глава 10 - Повышение производительности + ДЗ
Углубление знаний SQL как языка программирования
- DEV1-12. 08. Функции + edu.postgrespro.ru/dev1-12/dev1_08_sql_func.html + ДЗ
- DEV1-12. 09. Процедуры edu.postgrespro.ru/dev1-12/dev1_09_sql_proc.html + ДЗ
- DEV1-12. 11. Обзор и конструкции языка PL/pgSQL - достаточно ознакомиться
Python
2 курса по Python - простой и расширенный "Поколение Python": курс для начинающих – Stepik "Поколение Python": курс для продвинутых – Stepik Кратко(???) про ООП, менеджеры контекста Pandas Jupyter Lab - кратко
Полезно, но дороговато и не обязательно: хорошее комбо SQL + Python: "Поколение Python": профи + ООП + SQL – Stepik
Цель - LiveCoding простых задач Python, далее нужно будет для создания DAG Airflow
Технические навыки
Запись встреч
OBS Studio
Git
Книга: Pro Git - указать главы для чтения Курс работы с Git и GitLab - ЭФКО ЦПР | YouTube плейлист - указать номера лекций для просмотра и повторения за лектором. Целевой уровень знания - понимание процесса GitFlow. Как создать ветку, влить изменения в другие ветки. Понимание, зачем. На собесах обычно не спрашивают, но нужно в работе.
Docker
- Postgres (развертывание, допиливание, запекание в него учебной БД, выгрузка на docker hub)
- Основа для будущих домашних работ - сборка стендов. Хранение в Git и проверка ментором.
Методы разработки (водопад, scrum, kanban)
Найти краткие обзоры методов разработки. Потом проговорить на занятии, когда что используется
Airflow
Один из основных инструменов. Найти объяснение для менти...
Курсовая работа
Стенд в Docker Compose
- Apache Airflow
- Источник данных - TelecomX
- Postgres
- ETL
- Исходные коды всего - в Git
- Каждая новая фича разрабатывается в отдельной ветке
Понятие сложности алгоритмов
SQL
Python
Подготовка к собеседованиям
Думаем, как "сделать" опыт, от 2 лет
Помощь в подготовке резюме
- Видео от ОМ по составлению резюме
- Попытки менти написать, моя обратная связь - итеративно
Помощь с прохождением испытательного срока
- Как успешно пройти испытательный срок в IT | «Ультимативный гайд» c @digital_ninja - Youtube
- Испытательный срок - доклад - Boosty Видео по прохождению собесов от ОМ. Мои комментарии к нему, мой опыт Первые тренировки мок собесы, обратная связь
Навыки поиска работы с HH и Habr карьера
Как накрутить опыт в резюме | «Ультимативный гайд» @digital_ninja Как подтвердить опыт без трудовой / Хабр против работяг Как успешно пройти испытательный срок в IT | «Ультимативный гайд» c @digital_ninja - Youtube
Расширенные навыки
Поясняю, что главное - уметь пользоваться и отвечать на вопросы собесов. Уметь самому разворачивать сложные конфигурации - излишне, для этого в компаниях обычно есть DevOPS и DBA. Достаточно прочувствовать на простом docker стенде.
Greenplum
Дать теоретический материал - разница с Postgres. Контейнер с GreenPlum, несколько домашек по нему, чтобы прочувствовать работу распределенных запросов.
- sergeyosechkin/greenplum Tags | Docker Hub
- Как собрать Docker-образ Greengage DB | Greengage DB Docs В сложности с виртуалками - только если менти сильно захочет. Не буду рекомендовать.
NiFi
Делаем отдельный docker compose Postgres + Nifi В NiFi собираем генератор данных
Kafka
Лучший Гайд по Kafka для Начинающих За 1 Час - Youtube Добавляем к предыдущему docker compose Kafka. Строим поток данных NiFi->Kafka Kafka->NiFi->Postgres
dbt
Обзорная лекция, для понимания смысла
Софт скиллы
- Все ветви дохода в IT / Полный гайд по деньгам
- Гайд как писать отзывы
- Гайд по Антистрессу
Тех. материалы несортировано
- Индексы в БД - Youtube
- Spark + Iceberg in 1 Hour - Memory Tuning, Joins, Partition - Youtube
- Алгоритмы: теория и практика. Методы – Stepik
- Алгоритмы: теория и практика. Структуры данных – Stepik