diff --git a/README.md b/README.md index ddec46b..d02eb01 100644 --- a/README.md +++ b/README.md @@ -23,7 +23,9 @@ - Подробнее про синтаксис: [PostgreSQL : Документация: 17: 7.8. Запросы WITH (Общие табличные выражения) : Компания Postgres Professional](https://postgrespro.ru/docs/postgresql/17/queries-with) Для дальнейшей тренировки и поддержания уровня можно использовать [Database - LeetCode](https://leetcode.com/problem-list/database/). Хорошая подборка задачек: [SQL 50 - Study Plan - LeetCode](https://leetcode.com/studyplan/top-sql-50/) + ### Повышение знаний SQL + Смотрим курс от Postgres Pro [DEV1](https://postgrespro.ru/education/courses/DEV1) Темы - от "Введение" до "SQL" включительно, "Управление доступом", "Резервное копирование". Для лучшего усваивания материала проделываем все примеры и домашние задания из конспектов лекция. С темой "PL/pgSQL" можно ознакомиться обзорно. @@ -72,13 +74,24 @@ OBS Studio Основное предназначение для нас - учебные стенды, где мы разбираем и тренируемся с разными технологиями. На работе - иногда пригождается. На собесах спрашивают редко. -### Методы разработки (водопад, scrum, kanban) -Найти краткие обзоры методов разработки. Потом проговорить на занятии, когда что используется +### Методы разработки + +Кратко знакомимся с основными подходами к организации работы в IT: + +- **Водопад** — последовательная разработка, +- **Scrum / Kanban** — гибкие методологии, популярные в data-командах. + +Понимание этих концепций помогает быстрее адаптироваться в новых проектах и правильно интерпретировать требования. ## Airflow -Один из основных инструментов. -Упрощенный docker compose: https://github.com/LexxaRRioo/rzv_de_shared_folder/tree/main/docker_compose -Найти объяснение для менти... +Apache Airflow — инструмент для оркестрации ETL-процессов. + +Мы используем его для: +- планирования задач, +- отслеживания зависимостей между шагами, +- визуализации статуса выполнения. + +В обучении разворачиваем локальный стенд через docker-compose и пишем простые DAG’и на Python. ## Курсовая работа ### Стенд в Docker Compose @@ -89,30 +102,55 @@ OBS Studio - Исходные коды всего - в Git ## Понятие сложности алгоритмов -### SQL -### Python +В Data Engineering редко требуется писать сложные алгоритмы, но важно понимать, как оценивать эффективность кода: + +- в SQL — через объём сканируемых данных, типы JOIN’ов, использование индексов; +- в Python — через асимптотику операций с pandas/списками (например, O(n) vs O(n²)). + +Это помогает избегать «тормозящих» решений на собеседованиях и в реальных пайплайнах. + ## Подготовка к собеседованиям Думаем, как "сделать" опыт, от 2 лет + ### Помощь в подготовке резюме + - Видео от ОМ по составлению резюме - [Как накрутить опыт в резюме | «Ультимативный гайд» ‪@digital_ninja‬](https://www.youtube.com/watch?v=EPuogJuYsvY) - [Как писать резюме, чтобы его читали - доклад - Boosty](https://boosty.to/m0rtymerr/posts/71b02a6b-8116-466a-b945-b2ed793abd8f) - [Как грамотно продать себя на собеседовании / Созвон сообщества - Boosty](https://boosty.to/m0rtymerr/posts/7289cd23-60c6-4010-bb1c-a5b28dac399a) - Попытки менти написать, моя обратная связь - итеративно + +### Навыки поиска работы с HH и Habr карьера + +- [Как накрутить опыт в резюме | «Ультимативный гайд» ‪@digital_ninja‬](https://www.youtube.com/watch?v=EPuogJuYsvY) +- [Как подтвердить опыт без трудовой / Хабр против работяг](https://www.youtube.com/watch?v=GHqABzA1zi8) +- [Как успешно пройти испытательный срок в IT | «Ультимативный гайд» c @digital_ninja - Youtube](https://www.youtube.com/watch?v=r1lWP5rYVdk) +- Видео по прохождению собесов от ОМ. +- Мои комментарии к нему, мой опыт +- Первые тренировки мок собесы, обратная связь + ### Помощь с прохождением испытательного срока + - [Как успешно пройти испытательный срок в IT | «Ультимативный гайд» c @digital_ninja - Youtube](https://www.youtube.com/watch?v=r1lWP5rYVdk) - [Испытательный срок - доклад - Boosty](https://boosty.to/m0rtymerr/posts/40e7f17e-022b-495c-8d03-dabbe4383b8e) -Видео по прохождению собесов от ОМ. Мои комментарии к нему, мой опыт -Первые тренировки мок собесы, обратная связь -Навыки поиска работы с HH и Habr карьера -[Как накрутить опыт в резюме | «Ультимативный гайд» ‪@digital_ninja‬](https://www.youtube.com/watch?v=EPuogJuYsvY) -[Как подтвердить опыт без трудовой / Хабр против работяг](https://www.youtube.com/watch?v=GHqABzA1zi8) -[Как успешно пройти испытательный срок в IT | «Ультимативный гайд» c @digital_ninja - Youtube](https://www.youtube.com/watch?v=r1lWP5rYVdk) # Расширенные навыки -Поясняю, что главное - уметь пользоваться и отвечать на вопросы собесов. Уметь самому разворачивать сложные конфигурации - излишне, для этого в компаниях обычно есть DevOps и DBA. Достаточно прочувствовать на простом docker стенде. +Эти темы выходят за рамки базового минимума для старта в Data Engineering, но дают более полное представление об экосистеме. +Их цель — понимать, зачем и когда используется тот или иной инструмент, а не осваивать его на уровне администратора или DevOps-инженера. + +Мы кратко знакомимся с: + +- **Greenplum** — MPP-хранилищем на базе PostgreSQL для распределённых запросов; +- **Apache NiFi** и **Kafka** — инструментами для построения потоковых и интеграционных пайплайнов; +- **ClickHouse** — колоночной СУБД для высоконагруженной аналитики; +- **dbt** — подходом к трансформации данных как кода. + +Практика ограничивается минимальным рабочим примером (например, запуск в Docker, простой пайплайн или SQL-модель). + +Этого достаточно, чтобы уверенно говорить об инструменте на собеседовании и понимать его место в архитектуре — а всё остальное при необходимости осваивается уже на проекте. + ## Greenplum Дать теоретический материал - разница с Postgres. Предварительно: [Учебный курс по Greenplum](https://datafinder.ru/products/uchebnyy-kurs-po-greenplum) - дать только отдельные главы @@ -137,7 +175,9 @@ OBS Studio Kafka->NiFi->Postgres ## dbt -Обзорная лекция, для понимания смысла +dbt (data build tool) — инструмент для трансформации данных в хранилище. + +Мы рассматриваем его как альтернативу «ручному» написанию сложных CTE и для понимания современного подхода к моделированию данных как кода. # Софт скиллы - [Все ветви дохода в IT / Полный гайд по деньгам](https://youtube.com/live/JHClTWwK1EM)