diff --git a/README.md b/README.md index fdc4f90..4ef16e0 100644 --- a/README.md +++ b/README.md @@ -40,6 +40,11 @@ Домашки по остальным темам тренируемся делать в Git, там же пишем документацию. +**Когда блок Git и базовые инструменты считаем пройденным:** +- вы уверенно создаёте репозиторий, коммитите изменения и отправляете их на GitHub; +- умеете работать с ветками: создавать, переключаться, делать merge/PR и разруливать простые конфликты; +- оформляете базовую документацию в Markdown (README, заголовки, списки, ссылки, кодовые блоки). + ## SQL ### База по SQL Книга: [PostgreSQL. Основы языка SQL](https://postgrespro.ru/education/books/sqlprimer) - Глава 1 "Введение в базы данных и SQL" + ДЗ @@ -168,6 +173,12 @@ OBS Studio [Настройка записи экрана](https://docs.google.com/document/d/1qd8uRYlAaZp9c5zpvCVBOvYQCEukGHI9PEPjnjahI1k/) +**Когда блок технических навыков считаем пройденным:** +- вы понимаете базовый GitFlow: как организована работа с ветками в команде и как ваши коммиты попадают в прод; +- используете Docker для учебных стендов: запускаете контейнеры, смотрите логи и при необходимости перезапускаете сервисы; +- ориентируетесь в основных методологиях разработки (Scrum/Kanban/водопад) и понимаете, как в них живут задачи и отчётность; +- при необходимости умеете настроить запись экрана/созвонов, чтобы сохранять материалы обучения. + # Практика и инструменты ## Airflow @@ -196,7 +207,7 @@ Apache Airflow — инструмент для оркестрации ETL-про - Бесплатный, но большой учебный курс от Yandex: https://yandex.cloud/ru/training/greenplum - [Учебный курс по Greenplum от datafiner](https://datafinder.ru/products/uchebnyy-kurs-po-greenplum) — взять только отдельные главы. -Практика (минимум, который мы делаем вместе, чтобы уверенно чувствовать себя на собеседованиях): +Практика: - [DE Starter Kit — Airflow + Greenplum + CSV](https://github.com/dementev-dev/airflow-greenplum) Сложные варианты с виртуалками — только если менти сильно захочет, в базовый путь не включаем. @@ -264,7 +275,10 @@ Apache Airflow — инструмент для оркестрации ETL-про - [Как успешно пройти испытательный срок в IT | «Ультимативный гайд» c @digital_ninja - Youtube](https://www.youtube.com/watch?v=r1lWP5rYVdk) - [Испытательный срок - доклад - Boosty](https://boosty.to/m0rtymerr/posts/40e7f17e-022b-495c-8d03-dabbe4383b8e) - +**Когда блок подготовки к собеседованиям считаем пройденным:** +- у вас есть актуальное резюме под DE с понятными примерами проектов вместо «пустого» опыта; +- вы умеете искать и отбирать вакансии на HH и Habr Карьера, адаптируя отклики под конкретную позицию; +- вы прошли хотя бы пару мок-собеседований, получили обратную связь и по результатам доработали резюме и стратегию поиска. # Расширенные навыки Эти темы выходят за рамки базового минимума для старта в Data Engineering, но дают более полное представление об экосистеме. @@ -287,7 +301,7 @@ Apache Airflow — инструмент для оркестрации ETL-про ## NiFi Плейлист [Apache NiFi с нуля за 3 часа. Конструктор вместо кода - Youtube](https://youtube.com/playlist?list=PL4MpKy3QjNp_rOEEibc4Ro8UK4g8vLX6_&si=W_hidjHmBOZ_aUfS) — первые 4 видео, дальше — по желанию. -Практика (делаем вместе): +Практика: - собираем отдельный стенд в Docker Compose с Postgres и NiFi; - в NiFi настраиваем простой генератор данных. @@ -295,7 +309,6 @@ Apache Airflow — инструмент для оркестрации ETL-про [Лучший Гайд по Kafka для Начинающих За 1 Час - Youtube](https://www.youtube.com/watch?v=hbseyn-CfXY) Практика: -Практика (делаем вместе): - расширяем предыдущий стенд, добавляя Kafka; - строим поток данных: NiFi → Kafka; - добавляем обратный поток: Kafka → NiFi → Postgres. @@ -305,6 +318,11 @@ dbt (data build tool) — инструмент для трансформации Мы рассматриваем его как альтернативу «ручному» написанию сложных CTE и для понимания современного подхода к моделированию данных как кода. +**Когда блок расширенных навыков считаем пройденным:** +- вы можете на собеседовании кратко объяснить, когда уместны NiFi/Kafka, ClickHouse и dbt, и чем они дополняют базовый стек (Postgres, Airflow, Greenplum); +- понимаете типичные сценарии: потоковые интеграции и очереди (Kafka/NiFi), аналитические витрины и отчёты на ClickHouse, трансформации данных в dbt; +- не боитесь увидеть эти инструменты в описании вакансии и можете поддержать содержательный разговор об их месте в архитектуре. + # Софт скиллы - [Все ветви дохода в IT / Полный гайд по деньгам](https://youtube.com/live/JHClTWwK1EM) - [Гайд как писать отзывы](https://boosty.to/m0rtymerr/posts/b04040ec-0f46-4524-9c75-188a513140ad?share=post_link)