docs(practice): разделить основной маршрут и задания по желанию
Восемь блоков с явным началом, последовательными изменениями и наблюдаемыми результатами. Дополнительные упражнения имеют отдельные зависимости и условия возврата. Обновлены README, справочник DAG и пример уведомлений. Проверены ссылки, якоря, отрисовка Markdown и основные сценарии в Airflow 2.9.2. Проверки дополнительных упражнений продолжаются и фиксируются в плане.
This commit is contained in:
1 parent
cf1b770a65
commit
d8dfe83651
5 files changed
+455
-1023
No files matched your search
@@ -1,19 +1,8 @@
|
||||
# Учебник по Apache Airflow для начинающих
|
||||
|
||||
Добро пожаловать в учебник по Apache Airflow! Этот курс создан специально для тех, кто уже освоил Python и SQL и готов познакомиться со своим первым инструментом для ETL-процессов. К учебнику прилагается готовый практический стенд, позволяющий сразу применить полученные знания на практике.
|
||||
Учебник знакомит с Apache Airflow 2.9: устройством DAG, запуском задач, интерфейсом и поиском ошибок. К нему прилагается Docker-стенд с готовыми примерами. Перед началом нужны Python, pandas, SQL и основы Docker.
|
||||
|
||||
## 📚 Введение
|
||||
|
||||
Apache Airflow — это мощный оркестратор рабочих процессов с открытым исходным кодом, который стал стандартом де-факто в мире обработки данных. Если вы работаете с автоматизацией процессов обработки информации — будь то подготовка данных для машинного обучения, создание отчетов или интеграция данных из различных источников — Airflow поможет вам организовать эти процессы эффективно и надежно.
|
||||
|
||||
Этот учебник разработан с учетом того, что вы:
|
||||
- Имеете базовые знания Python и SQL
|
||||
- Хотите освоить свой первый ETL-инструмент
|
||||
- Нуждаетесь в практическом руководстве с понятными объяснениями
|
||||
|
||||
Мы начнем с основ и постепенно перейдем к продвинутым возможностям, чтобы вы могли уверенно использовать Airflow в реальных проектах. Курс ориентирован на версию Airflow 2.9 и использует практический подход с множеством примеров и визуальных материалов.
|
||||
|
||||
## 🎯 Что вы узнаете
|
||||
## Что вы узнаете
|
||||
|
||||
- **Основы Airflow**: что это такое, для каких задач используется и почему он стал таким популярным
|
||||
- **Ключевые концепции**: DAG, задачи, операторы и другие фундаментальные понятия
|
||||
@@ -23,7 +12,7 @@ Apache Airflow — это мощный оркестратор рабочих п
|
||||
- **Отладка и мониторинг**: как понимать статусы задач и быстро находить проблемы
|
||||
- **Продвинутые возможности**: шаблоны, параметры, управление временем, пулы, XCom, TaskGroup и алертинг
|
||||
|
||||
## 📖 Содержание курса
|
||||
## Содержание курса
|
||||
|
||||
### [01. Введение в Airflow](01%20-%20Введение%20в%20Airflow.md)
|
||||
- Почему Apache Airflow стал незаменимым инструментом для работы с данными
|
||||
@@ -73,34 +62,25 @@ Apache Airflow — это мощный оркестратор рабочих п
|
||||
- Логическая группировка задач с TaskGroup
|
||||
- Настройка системы оповещений и уведомлений
|
||||
|
||||
## 🛠️ Практический стенд
|
||||
## Практический стенд
|
||||
|
||||
К этому учебнику прилагается полноценный стенд Apache Airflow, который позволяет сразу приступить к практике и закрепить полученные знания. В папке [`airflow-docker`](airflow-docker/) вы найдете готовую среду для экспериментов с 6 готовыми DAG'ами разной сложности и практическими заданиями для каждого из них.
|
||||
В [`airflow-docker`](airflow-docker/) находятся Airflow 2.9.2, учебная PostgreSQL и девять готовых DAG. [Инструкция запуска](airflow-docker/README.md) поможет поднять стенд, а [маршрут практики](airflow-docker/educational-tasks.md) связывает восемь блоков заданий с главами учебника.
|
||||
|
||||
Стенд включает настроенную среду с PostgreSQL для тренировок, образцы данных и детальные инструкции для практических занятий. Подробную информацию о возможностях стенда и инструкции по запуску смотрите в [`README.md`](airflow-docker/README.md) папки `airflow-docker`.
|
||||
Здесь вы запускаете готовый DAG, меняете одну часть и проверяете результат в графе, логах или данных. Самостоятельные процессы обработки данных относятся к курсовым работам дальше по [программе](https://de.dementev.space/).
|
||||
|
||||
## 🚀 Как использовать этот учебник
|
||||
## Как использовать этот учебник
|
||||
|
||||
1. **Изучайте теорию**: начните с Введения в Airflow и переходите к следующим главам по порядку
|
||||
2. **Практикуйтесь на стенде**: после каждой главы выполняйте соответствующие задания в практическом стенде
|
||||
3. **Создавайте свои DAG**: применяйте полученные знания для решения реальных задач
|
||||
4. **Используйте визуальные материалы**: в учебнике много изображений и диаграмм для лучшего понимания
|
||||
5. **Экспериментируйте**: не бойтесь пробовать разные настройки и сценарии на учебном стенде
|
||||
1. Прочитайте главы 1-5 и запустите стенд. Перед каждым блоком практики сверяйтесь с колонкой "Перед практикой": некоторые задания используют материал следующих глав.
|
||||
2. Выполняйте основные задания блока по порядку и сохраняйте изменения. Каждый новый блок описывает, с какого состояния начать.
|
||||
3. Проверяйте раздел "Что должно получиться". В опыте с ошибкой результатом может быть `failed`; важно найти причину и восстановить успешный запуск.
|
||||
4. Задания "По желанию" можно пропустить. Они не нужны для продолжения основного маршрута, а высокая сложность отмечена отдельно.
|
||||
|
||||
## 📝 Технические требования
|
||||
Практика завершена, когда пройдены основные задания всех восьми блоков и вы можете объяснить наблюдаемое поведение. Выполнение всех усложнений для этого не требуется.
|
||||
|
||||
- **Python**: базовое знание языка
|
||||
## Технические требования
|
||||
|
||||
- **Python и pandas**: чтение функций, работа с таблицами
|
||||
- **SQL**: понимание основных запросов и концепций
|
||||
- **Airflow**: версия 2.9 (на которой ориентирован курс)
|
||||
- **Docker и Docker Compose**: запуск учебного стенда
|
||||
- **Среда разработки**: любой текстовый редактор или IDE с поддержкой Python
|
||||
|
||||
## 💡 Советы для успешного обучения
|
||||
|
||||
- **Не торопитесь**: лучше глубоко понять каждый концепт, чем быстро пройти весь курс
|
||||
- **Задавайте вопросы**: если что-то непонятно, вернитесь к предыдущим материалам
|
||||
- **Делайте заметки**: записывайте важные моменты и примеры кода
|
||||
- **Применяйте на практике**: сразу пробуйте создавать свои DAG для реальных задач
|
||||
|
||||
---
|
||||
|
||||
*Этот учебник создан для начинающих специалистов в области данных и инженерии. Все материалы ориентированы на практическое применение и пошаговое освоение Apache Airflow.*
|
||||
Reference in new issue
Block a user