DoD по разделам
This commit is contained in:
@@ -40,6 +40,11 @@
|
|||||||
|
|
||||||
Домашки по остальным темам тренируемся делать в Git, там же пишем документацию.
|
Домашки по остальным темам тренируемся делать в Git, там же пишем документацию.
|
||||||
|
|
||||||
|
**Когда блок Git и базовые инструменты считаем пройденным:**
|
||||||
|
- вы уверенно создаёте репозиторий, коммитите изменения и отправляете их на GitHub;
|
||||||
|
- умеете работать с ветками: создавать, переключаться, делать merge/PR и разруливать простые конфликты;
|
||||||
|
- оформляете базовую документацию в Markdown (README, заголовки, списки, ссылки, кодовые блоки).
|
||||||
|
|
||||||
## SQL
|
## SQL
|
||||||
### База по SQL
|
### База по SQL
|
||||||
Книга: [PostgreSQL. Основы языка SQL](https://postgrespro.ru/education/books/sqlprimer) - Глава 1 "Введение в базы данных и SQL" + ДЗ
|
Книга: [PostgreSQL. Основы языка SQL](https://postgrespro.ru/education/books/sqlprimer) - Глава 1 "Введение в базы данных и SQL" + ДЗ
|
||||||
@@ -168,6 +173,12 @@
|
|||||||
OBS Studio
|
OBS Studio
|
||||||
[Настройка записи экрана](https://docs.google.com/document/d/1qd8uRYlAaZp9c5zpvCVBOvYQCEukGHI9PEPjnjahI1k/)
|
[Настройка записи экрана](https://docs.google.com/document/d/1qd8uRYlAaZp9c5zpvCVBOvYQCEukGHI9PEPjnjahI1k/)
|
||||||
|
|
||||||
|
**Когда блок технических навыков считаем пройденным:**
|
||||||
|
- вы понимаете базовый GitFlow: как организована работа с ветками в команде и как ваши коммиты попадают в прод;
|
||||||
|
- используете Docker для учебных стендов: запускаете контейнеры, смотрите логи и при необходимости перезапускаете сервисы;
|
||||||
|
- ориентируетесь в основных методологиях разработки (Scrum/Kanban/водопад) и понимаете, как в них живут задачи и отчётность;
|
||||||
|
- при необходимости умеете настроить запись экрана/созвонов, чтобы сохранять материалы обучения.
|
||||||
|
|
||||||
# Практика и инструменты
|
# Практика и инструменты
|
||||||
|
|
||||||
## Airflow
|
## Airflow
|
||||||
@@ -196,7 +207,7 @@ Apache Airflow — инструмент для оркестрации ETL-про
|
|||||||
- Бесплатный, но большой учебный курс от Yandex: https://yandex.cloud/ru/training/greenplum
|
- Бесплатный, но большой учебный курс от Yandex: https://yandex.cloud/ru/training/greenplum
|
||||||
- [Учебный курс по Greenplum от datafiner](https://datafinder.ru/products/uchebnyy-kurs-po-greenplum) — взять только отдельные главы.
|
- [Учебный курс по Greenplum от datafiner](https://datafinder.ru/products/uchebnyy-kurs-po-greenplum) — взять только отдельные главы.
|
||||||
|
|
||||||
Практика (минимум, который мы делаем вместе, чтобы уверенно чувствовать себя на собеседованиях):
|
Практика:
|
||||||
- [DE Starter Kit — Airflow + Greenplum + CSV](https://github.com/dementev-dev/airflow-greenplum)
|
- [DE Starter Kit — Airflow + Greenplum + CSV](https://github.com/dementev-dev/airflow-greenplum)
|
||||||
|
|
||||||
Сложные варианты с виртуалками — только если менти сильно захочет, в базовый путь не включаем.
|
Сложные варианты с виртуалками — только если менти сильно захочет, в базовый путь не включаем.
|
||||||
@@ -264,7 +275,10 @@ Apache Airflow — инструмент для оркестрации ETL-про
|
|||||||
- [Как успешно пройти испытательный срок в IT | «Ультимативный гайд» c @digital_ninja - Youtube](https://www.youtube.com/watch?v=r1lWP5rYVdk)
|
- [Как успешно пройти испытательный срок в IT | «Ультимативный гайд» c @digital_ninja - Youtube](https://www.youtube.com/watch?v=r1lWP5rYVdk)
|
||||||
- [Испытательный срок - доклад - Boosty](https://boosty.to/m0rtymerr/posts/40e7f17e-022b-495c-8d03-dabbe4383b8e)
|
- [Испытательный срок - доклад - Boosty](https://boosty.to/m0rtymerr/posts/40e7f17e-022b-495c-8d03-dabbe4383b8e)
|
||||||
|
|
||||||
|
**Когда блок подготовки к собеседованиям считаем пройденным:**
|
||||||
|
- у вас есть актуальное резюме под DE с понятными примерами проектов вместо «пустого» опыта;
|
||||||
|
- вы умеете искать и отбирать вакансии на HH и Habr Карьера, адаптируя отклики под конкретную позицию;
|
||||||
|
- вы прошли хотя бы пару мок-собеседований, получили обратную связь и по результатам доработали резюме и стратегию поиска.
|
||||||
|
|
||||||
# Расширенные навыки
|
# Расширенные навыки
|
||||||
Эти темы выходят за рамки базового минимума для старта в Data Engineering, но дают более полное представление об экосистеме.
|
Эти темы выходят за рамки базового минимума для старта в Data Engineering, но дают более полное представление об экосистеме.
|
||||||
@@ -287,7 +301,7 @@ Apache Airflow — инструмент для оркестрации ETL-про
|
|||||||
## NiFi
|
## NiFi
|
||||||
Плейлист [Apache NiFi с нуля за 3 часа. Конструктор вместо кода - Youtube](https://youtube.com/playlist?list=PL4MpKy3QjNp_rOEEibc4Ro8UK4g8vLX6_&si=W_hidjHmBOZ_aUfS) — первые 4 видео, дальше — по желанию.
|
Плейлист [Apache NiFi с нуля за 3 часа. Конструктор вместо кода - Youtube](https://youtube.com/playlist?list=PL4MpKy3QjNp_rOEEibc4Ro8UK4g8vLX6_&si=W_hidjHmBOZ_aUfS) — первые 4 видео, дальше — по желанию.
|
||||||
|
|
||||||
Практика (делаем вместе):
|
Практика:
|
||||||
- собираем отдельный стенд в Docker Compose с Postgres и NiFi;
|
- собираем отдельный стенд в Docker Compose с Postgres и NiFi;
|
||||||
- в NiFi настраиваем простой генератор данных.
|
- в NiFi настраиваем простой генератор данных.
|
||||||
|
|
||||||
@@ -295,7 +309,6 @@ Apache Airflow — инструмент для оркестрации ETL-про
|
|||||||
[Лучший Гайд по Kafka для Начинающих За 1 Час - Youtube](https://www.youtube.com/watch?v=hbseyn-CfXY)
|
[Лучший Гайд по Kafka для Начинающих За 1 Час - Youtube](https://www.youtube.com/watch?v=hbseyn-CfXY)
|
||||||
|
|
||||||
Практика:
|
Практика:
|
||||||
Практика (делаем вместе):
|
|
||||||
- расширяем предыдущий стенд, добавляя Kafka;
|
- расширяем предыдущий стенд, добавляя Kafka;
|
||||||
- строим поток данных: NiFi → Kafka;
|
- строим поток данных: NiFi → Kafka;
|
||||||
- добавляем обратный поток: Kafka → NiFi → Postgres.
|
- добавляем обратный поток: Kafka → NiFi → Postgres.
|
||||||
@@ -305,6 +318,11 @@ dbt (data build tool) — инструмент для трансформации
|
|||||||
|
|
||||||
Мы рассматриваем его как альтернативу «ручному» написанию сложных CTE и для понимания современного подхода к моделированию данных как кода.
|
Мы рассматриваем его как альтернативу «ручному» написанию сложных CTE и для понимания современного подхода к моделированию данных как кода.
|
||||||
|
|
||||||
|
**Когда блок расширенных навыков считаем пройденным:**
|
||||||
|
- вы можете на собеседовании кратко объяснить, когда уместны NiFi/Kafka, ClickHouse и dbt, и чем они дополняют базовый стек (Postgres, Airflow, Greenplum);
|
||||||
|
- понимаете типичные сценарии: потоковые интеграции и очереди (Kafka/NiFi), аналитические витрины и отчёты на ClickHouse, трансформации данных в dbt;
|
||||||
|
- не боитесь увидеть эти инструменты в описании вакансии и можете поддержать содержательный разговор об их месте в архитектуре.
|
||||||
|
|
||||||
# Софт скиллы
|
# Софт скиллы
|
||||||
- [Все ветви дохода в IT / Полный гайд по деньгам](https://youtube.com/live/JHClTWwK1EM)
|
- [Все ветви дохода в IT / Полный гайд по деньгам](https://youtube.com/live/JHClTWwK1EM)
|
||||||
- [Гайд как писать отзывы](https://boosty.to/m0rtymerr/posts/b04040ec-0f46-4524-9c75-188a513140ad?share=post_link)
|
- [Гайд как писать отзывы](https://boosty.to/m0rtymerr/posts/b04040ec-0f46-4524-9c75-188a513140ad?share=post_link)
|
||||||
|
|||||||
Reference in New Issue
Block a user