Улучшение структуры
This commit is contained in:
@@ -23,7 +23,9 @@
|
|||||||
- Подробнее про синтаксис: [PostgreSQL : Документация: 17: 7.8. Запросы WITH (Общие табличные выражения) : Компания Postgres Professional](https://postgrespro.ru/docs/postgresql/17/queries-with)
|
- Подробнее про синтаксис: [PostgreSQL : Документация: 17: 7.8. Запросы WITH (Общие табличные выражения) : Компания Postgres Professional](https://postgrespro.ru/docs/postgresql/17/queries-with)
|
||||||
|
|
||||||
Для дальнейшей тренировки и поддержания уровня можно использовать [Database - LeetCode](https://leetcode.com/problem-list/database/). Хорошая подборка задачек: [SQL 50 - Study Plan - LeetCode](https://leetcode.com/studyplan/top-sql-50/)
|
Для дальнейшей тренировки и поддержания уровня можно использовать [Database - LeetCode](https://leetcode.com/problem-list/database/). Хорошая подборка задачек: [SQL 50 - Study Plan - LeetCode](https://leetcode.com/studyplan/top-sql-50/)
|
||||||
|
|
||||||
### Повышение знаний SQL
|
### Повышение знаний SQL
|
||||||
|
|
||||||
Смотрим курс от Postgres Pro [DEV1](https://postgrespro.ru/education/courses/DEV1)
|
Смотрим курс от Postgres Pro [DEV1](https://postgrespro.ru/education/courses/DEV1)
|
||||||
Темы - от "Введение" до "SQL" включительно, "Управление доступом", "Резервное копирование". Для лучшего усваивания материала проделываем все примеры и домашние задания из конспектов лекция.
|
Темы - от "Введение" до "SQL" включительно, "Управление доступом", "Резервное копирование". Для лучшего усваивания материала проделываем все примеры и домашние задания из конспектов лекция.
|
||||||
С темой "PL/pgSQL" можно ознакомиться обзорно.
|
С темой "PL/pgSQL" можно ознакомиться обзорно.
|
||||||
@@ -72,13 +74,24 @@ OBS Studio
|
|||||||
|
|
||||||
Основное предназначение для нас - учебные стенды, где мы разбираем и тренируемся с разными технологиями. На работе - иногда пригождается. На собесах спрашивают редко.
|
Основное предназначение для нас - учебные стенды, где мы разбираем и тренируемся с разными технологиями. На работе - иногда пригождается. На собесах спрашивают редко.
|
||||||
|
|
||||||
### Методы разработки (водопад, scrum, kanban)
|
### Методы разработки
|
||||||
Найти краткие обзоры методов разработки. Потом проговорить на занятии, когда что используется
|
|
||||||
|
Кратко знакомимся с основными подходами к организации работы в IT:
|
||||||
|
|
||||||
|
- **Водопад** — последовательная разработка,
|
||||||
|
- **Scrum / Kanban** — гибкие методологии, популярные в data-командах.
|
||||||
|
|
||||||
|
Понимание этих концепций помогает быстрее адаптироваться в новых проектах и правильно интерпретировать требования.
|
||||||
|
|
||||||
## Airflow
|
## Airflow
|
||||||
Один из основных инструментов.
|
Apache Airflow — инструмент для оркестрации ETL-процессов.
|
||||||
Упрощенный docker compose: https://github.com/LexxaRRioo/rzv_de_shared_folder/tree/main/docker_compose
|
|
||||||
Найти объяснение для менти...
|
Мы используем его для:
|
||||||
|
- планирования задач,
|
||||||
|
- отслеживания зависимостей между шагами,
|
||||||
|
- визуализации статуса выполнения.
|
||||||
|
|
||||||
|
В обучении разворачиваем локальный стенд через docker-compose и пишем простые DAG’и на Python.
|
||||||
|
|
||||||
## Курсовая работа
|
## Курсовая работа
|
||||||
### Стенд в Docker Compose
|
### Стенд в Docker Compose
|
||||||
@@ -89,30 +102,55 @@ OBS Studio
|
|||||||
- Исходные коды всего - в Git
|
- Исходные коды всего - в Git
|
||||||
|
|
||||||
## Понятие сложности алгоритмов
|
## Понятие сложности алгоритмов
|
||||||
### SQL
|
В Data Engineering редко требуется писать сложные алгоритмы, но важно понимать, как оценивать эффективность кода:
|
||||||
### Python
|
|
||||||
|
- в SQL — через объём сканируемых данных, типы JOIN’ов, использование индексов;
|
||||||
|
- в Python — через асимптотику операций с pandas/списками (например, O(n) vs O(n²)).
|
||||||
|
|
||||||
|
Это помогает избегать «тормозящих» решений на собеседованиях и в реальных пайплайнах.
|
||||||
|
|
||||||
## Подготовка к собеседованиям
|
## Подготовка к собеседованиям
|
||||||
Думаем, как "сделать" опыт, от 2 лет
|
Думаем, как "сделать" опыт, от 2 лет
|
||||||
|
|
||||||
### Помощь в подготовке резюме
|
### Помощь в подготовке резюме
|
||||||
|
|
||||||
- Видео от ОМ по составлению резюме
|
- Видео от ОМ по составлению резюме
|
||||||
- [Как накрутить опыт в резюме | «Ультимативный гайд» @digital_ninja](https://www.youtube.com/watch?v=EPuogJuYsvY)
|
- [Как накрутить опыт в резюме | «Ультимативный гайд» @digital_ninja](https://www.youtube.com/watch?v=EPuogJuYsvY)
|
||||||
- [Как писать резюме, чтобы его читали - доклад - Boosty](https://boosty.to/m0rtymerr/posts/71b02a6b-8116-466a-b945-b2ed793abd8f)
|
- [Как писать резюме, чтобы его читали - доклад - Boosty](https://boosty.to/m0rtymerr/posts/71b02a6b-8116-466a-b945-b2ed793abd8f)
|
||||||
- [Как грамотно продать себя на собеседовании / Созвон сообщества - Boosty](https://boosty.to/m0rtymerr/posts/7289cd23-60c6-4010-bb1c-a5b28dac399a)
|
- [Как грамотно продать себя на собеседовании / Созвон сообщества - Boosty](https://boosty.to/m0rtymerr/posts/7289cd23-60c6-4010-bb1c-a5b28dac399a)
|
||||||
- Попытки менти написать, моя обратная связь - итеративно
|
- Попытки менти написать, моя обратная связь - итеративно
|
||||||
|
|
||||||
|
### Навыки поиска работы с HH и Habr карьера
|
||||||
|
|
||||||
|
- [Как накрутить опыт в резюме | «Ультимативный гайд» @digital_ninja](https://www.youtube.com/watch?v=EPuogJuYsvY)
|
||||||
|
- [Как подтвердить опыт без трудовой / Хабр против работяг](https://www.youtube.com/watch?v=GHqABzA1zi8)
|
||||||
|
- [Как успешно пройти испытательный срок в IT | «Ультимативный гайд» c @digital_ninja - Youtube](https://www.youtube.com/watch?v=r1lWP5rYVdk)
|
||||||
|
- Видео по прохождению собесов от ОМ.
|
||||||
|
- Мои комментарии к нему, мой опыт
|
||||||
|
- Первые тренировки мок собесы, обратная связь
|
||||||
|
|
||||||
### Помощь с прохождением испытательного срока
|
### Помощь с прохождением испытательного срока
|
||||||
|
|
||||||
- [Как успешно пройти испытательный срок в IT | «Ультимативный гайд» c @digital_ninja - Youtube](https://www.youtube.com/watch?v=r1lWP5rYVdk)
|
- [Как успешно пройти испытательный срок в IT | «Ультимативный гайд» c @digital_ninja - Youtube](https://www.youtube.com/watch?v=r1lWP5rYVdk)
|
||||||
- [Испытательный срок - доклад - Boosty](https://boosty.to/m0rtymerr/posts/40e7f17e-022b-495c-8d03-dabbe4383b8e)
|
- [Испытательный срок - доклад - Boosty](https://boosty.to/m0rtymerr/posts/40e7f17e-022b-495c-8d03-dabbe4383b8e)
|
||||||
Видео по прохождению собесов от ОМ. Мои комментарии к нему, мой опыт
|
|
||||||
Первые тренировки мок собесы, обратная связь
|
|
||||||
|
|
||||||
Навыки поиска работы с HH и Habr карьера
|
|
||||||
|
|
||||||
[Как накрутить опыт в резюме | «Ультимативный гайд» @digital_ninja](https://www.youtube.com/watch?v=EPuogJuYsvY)
|
|
||||||
[Как подтвердить опыт без трудовой / Хабр против работяг](https://www.youtube.com/watch?v=GHqABzA1zi8)
|
|
||||||
[Как успешно пройти испытательный срок в IT | «Ультимативный гайд» c @digital_ninja - Youtube](https://www.youtube.com/watch?v=r1lWP5rYVdk)
|
|
||||||
|
|
||||||
# Расширенные навыки
|
# Расширенные навыки
|
||||||
Поясняю, что главное - уметь пользоваться и отвечать на вопросы собесов. Уметь самому разворачивать сложные конфигурации - излишне, для этого в компаниях обычно есть DevOps и DBA. Достаточно прочувствовать на простом docker стенде.
|
Эти темы выходят за рамки базового минимума для старта в Data Engineering, но дают более полное представление об экосистеме.
|
||||||
|
Их цель — понимать, зачем и когда используется тот или иной инструмент, а не осваивать его на уровне администратора или DevOps-инженера.
|
||||||
|
|
||||||
|
Мы кратко знакомимся с:
|
||||||
|
|
||||||
|
- **Greenplum** — MPP-хранилищем на базе PostgreSQL для распределённых запросов;
|
||||||
|
- **Apache NiFi** и **Kafka** — инструментами для построения потоковых и интеграционных пайплайнов;
|
||||||
|
- **ClickHouse** — колоночной СУБД для высоконагруженной аналитики;
|
||||||
|
- **dbt** — подходом к трансформации данных как кода.
|
||||||
|
|
||||||
|
Практика ограничивается минимальным рабочим примером (например, запуск в Docker, простой пайплайн или SQL-модель).
|
||||||
|
|
||||||
|
Этого достаточно, чтобы уверенно говорить об инструменте на собеседовании и понимать его место в архитектуре — а всё остальное при необходимости осваивается уже на проекте.
|
||||||
|
|
||||||
## Greenplum
|
## Greenplum
|
||||||
Дать теоретический материал - разница с Postgres.
|
Дать теоретический материал - разница с Postgres.
|
||||||
Предварительно: [Учебный курс по Greenplum](https://datafinder.ru/products/uchebnyy-kurs-po-greenplum) - дать только отдельные главы
|
Предварительно: [Учебный курс по Greenplum](https://datafinder.ru/products/uchebnyy-kurs-po-greenplum) - дать только отдельные главы
|
||||||
@@ -137,7 +175,9 @@ OBS Studio
|
|||||||
Kafka->NiFi->Postgres
|
Kafka->NiFi->Postgres
|
||||||
|
|
||||||
## dbt
|
## dbt
|
||||||
Обзорная лекция, для понимания смысла
|
dbt (data build tool) — инструмент для трансформации данных в хранилище.
|
||||||
|
|
||||||
|
Мы рассматриваем его как альтернативу «ручному» написанию сложных CTE и для понимания современного подхода к моделированию данных как кода.
|
||||||
|
|
||||||
# Софт скиллы
|
# Софт скиллы
|
||||||
- [Все ветви дохода в IT / Полный гайд по деньгам](https://youtube.com/live/JHClTWwK1EM)
|
- [Все ветви дохода в IT / Полный гайд по деньгам](https://youtube.com/live/JHClTWwK1EM)
|
||||||
|
|||||||
Reference in New Issue
Block a user