Compare commits
2
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
2732622919 | ||
|
|
56133ccfae |
No files matched your search
@@ -317,7 +317,7 @@ Apache Airflow — инструмент для оркестрации ETL-про
|
|||||||
Материалы:
|
Материалы:
|
||||||
|
|
||||||
- [Учебник по Airflow](https://github.com/dementev-dev/airflow-manual)
|
- [Учебник по Airflow](https://github.com/dementev-dev/airflow-manual)
|
||||||
- [Практические задания на стенде](https://github.com/dementev-dev/airflow-manual/blob/main/airflow-docker/educational-tasks.md)
|
- [Практические задания на стенде](https://github.com/dementev-dev/airflow-manual/blob/main/educational-tasks.md)
|
||||||
|
|
||||||
Задания выполняем параллельно с чтением учебника. Начинаем с простых DAG
|
Задания выполняем параллельно с чтением учебника. Начинаем с простых DAG
|
||||||
и SQL, затем обрабатываем файлы, загружаем CSV в PostgreSQL и добавляем
|
и SQL, затем обрабатываем файлы, загружаем CSV в PostgreSQL и добавляем
|
||||||
|
|||||||
@@ -13,6 +13,12 @@
|
|||||||
|
|
||||||
## P2
|
## P2
|
||||||
|
|
||||||
|
- [ ] **Проработать инструкции по прохождению крупных блоков.**
|
||||||
|
Начать с Python: определить части внешних курсов, глубину изучения
|
||||||
|
и практику для бесплатной альтернативы. Далее связать DEV1, книгу и QPT,
|
||||||
|
затем главы Airflow с существующими заданиями.
|
||||||
|
[Черновик обсуждения](specs/2026-09-27-learning-route.md).
|
||||||
|
|
||||||
- [ ] **Дополнить практику Kafka перед Clickstream.**
|
- [ ] **Дополнить практику Kafka перед Clickstream.**
|
||||||
В `nifi-kafka-postgres-lab` добавить опыты на существующем потоке:
|
В `nifi-kafka-postgres-lab` добавить опыты на существующем потоке:
|
||||||
остановить потребителя и дочитать накопившиеся сообщения; прочитать
|
остановить потребителя и дочитать накопившиеся сообщения; прочитать
|
||||||
@@ -56,6 +62,13 @@
|
|||||||
|
|
||||||
## Сделано
|
## Сделано
|
||||||
|
|
||||||
|
- [x] **Исправлена ссылка на практику Airflow** — 2026-10-18:
|
||||||
|
`educational-tasks.md` перенесён в корень `airflow-manual`; ссылка в роадмапе
|
||||||
|
обновлена, новая страница возвращает HTTP 200. Проверены HTTP-ответы
|
||||||
|
118 внешних адресов; единственный полученный 404 исправлен. Ответы
|
||||||
|
403/502 и капча не подтверждают недоступность материала для читателя;
|
||||||
|
доступность видео YouTube по HTTP-статусу не определяется.
|
||||||
|
|
||||||
- [x] **Актуализация маршрута и учебных ссылок** - 2026-09-27:
|
- [x] **Актуализация маршрута и учебных ссылок** - 2026-09-27:
|
||||||
ссылки на стенды, SQL и данные, кнопки репозитория на сайте возвращены
|
ссылки на стенды, SQL и данные, кнопки репозитория на сайте возвращены
|
||||||
на GitHub; рабочий origin и публикация сайта остаются в Gitea.
|
на GitHub; рабочий origin и публикация сайта остаются в Gitea.
|
||||||
|
|||||||
@@ -0,0 +1,86 @@
|
|||||||
|
# Как проходить материалы роадмапа
|
||||||
|
|
||||||
|
Статус: черновик для обсуждения. Базовая актуализация опубликована отдельно
|
||||||
|
в коммите `806417c`. Здесь прорабатываем следующий этап: письменные указания
|
||||||
|
по порядку занятий, глубине чтения и выполнению заданий.
|
||||||
|
|
||||||
|
## Задача
|
||||||
|
|
||||||
|
На занятиях ментор регулярно объясняет, какие части внешнего курса нужны
|
||||||
|
целиком, где достаточно нескольких упражнений и когда переходить к стенду.
|
||||||
|
Эти указания должны быть доступны рядом с материалами, до начала работы.
|
||||||
|
|
||||||
|
Предлагаемый формат: в README оставить общий маршрут. Подробные инструкции
|
||||||
|
к крупным блокам вынести на отдельные страницы со ссылками из этих разделов.
|
||||||
|
У каждого шага должны быть понятны материал, глубина изучения, практика
|
||||||
|
и результат, с которым можно переходить дальше.
|
||||||
|
|
||||||
|
## Какие вопросы должна закрыть инструкция
|
||||||
|
|
||||||
|
- Какие части внешних курсов Python нужны для дальнейшей практики?
|
||||||
|
- Насколько подробно изучать устройство PostgreSQL в QPT?
|
||||||
|
- Какие главы книги прочитать перед конкретными лекциями DEV1?
|
||||||
|
- Как поддерживать SQL-практику после перехода к следующему блоку?
|
||||||
|
- Когда запускать каждый стенд и какие задания на нем выполнять?
|
||||||
|
|
||||||
|
Объем упражнений связываем с проверяемыми умениями. Индивидуальные сроки
|
||||||
|
и сокращения программы не превращаем в требования ко всем учащимся.
|
||||||
|
|
||||||
|
## Что уже определено
|
||||||
|
|
||||||
|
- Docker впервые используем на DEV1: запускаем PostgreSQL, проверяем статус,
|
||||||
|
подключаемся к базе. Подробный блок Docker остается дальше.
|
||||||
|
- Data Vault и Anchor Modeling изучаем обзорно.
|
||||||
|
- venv и JupyterLab осваиваем перед Python для продвинутых.
|
||||||
|
- Greenplum остается первой курсовой; Kafka, ClickHouse и Clickstream входят
|
||||||
|
в основную программу. Lakehouse и dbt идут после нее.
|
||||||
|
- Задания Python и SQL в Airflow уже есть. Для них нужна привязка к чтению
|
||||||
|
учебника и моменту выполнения.
|
||||||
|
- Опыты с Kafka записаны отдельной задачей в [TODO](../TODO.md).
|
||||||
|
|
||||||
|
## Первый блок для проработки: Python
|
||||||
|
|
||||||
|
Собрать инструкцию к существующим курсам и бесплатным материалам.
|
||||||
|
Начальный вариант границ для проверки:
|
||||||
|
|
||||||
|
| Тема | Как проходить | Как проверить результат |
|
||||||
|
|---|---|---|
|
||||||
|
| Вложенные списки и матрицы | Выборочные упражнения на механику | Самостоятельно обойти и изменить вложенный список |
|
||||||
|
| Словари, функции, файлы | Подробно, с практикой | Прочитать данные, преобразовать их и сохранить результат |
|
||||||
|
| Turtle и Monte Carlo | Можно пропустить в основном маршруте | Отдельная проверка не нужна |
|
||||||
|
| Память и ссылки, исключения, итераторы и генераторы | Включить и в курс, и в бесплатную альтернативу | Объяснить поведение небольшого примера и самостоятельно изменить его |
|
||||||
|
|
||||||
|
Два варианта после advanced Python должны приводить к одному набору умений:
|
||||||
|
выбранные части Python Professional или последовательность бесплатных
|
||||||
|
материалов с упражнениями. Особенно проверить покрытие управления памятью
|
||||||
|
и обработки исключений.
|
||||||
|
|
||||||
|
Перед публикацией нужно сверить актуальное оглавление обоих курсов,
|
||||||
|
подобрать точные разделы и определить достаточную практику. Проценты заданий
|
||||||
|
из отдельной встречи не заменяют этого отбора. Также нужно уточнить глубину
|
||||||
|
ООП, pandas и декораторов для дальнейших заданий Airflow.
|
||||||
|
|
||||||
|
## Следующие кандидаты
|
||||||
|
|
||||||
|
Для DEV1 связать лекции, главы книги и практику на `postgres-bookings`.
|
||||||
|
Например, чтение о транзакциях поставить перед темой MVCC. На входе пояснить,
|
||||||
|
где выполняются команды: терминал, `psql`, редактор SQL в DBeaver.
|
||||||
|
|
||||||
|
Для QPT описать результат первого прохода и возвращение к теме позже.
|
||||||
|
Предлагаемый результат: прочитать план, сопоставить оценки с фактическими
|
||||||
|
строками, сформулировать и проверить гипотезу. Повторная практика должна
|
||||||
|
использовать уже знакомую базу и конкретный запрос.
|
||||||
|
|
||||||
|
Для Airflow сопоставить главы учебника с существующими заданиями.
|
||||||
|
В каждом переходе обозначить, что сначала разбираем по готовому примеру,
|
||||||
|
что делаем самостоятельно и как проверяем результат.
|
||||||
|
|
||||||
|
На переходах между крупными блоками напомнить о короткой регулярной практике
|
||||||
|
SQL, а после Python добавить и его поддержание. Объем подбирать по учебной
|
||||||
|
нагрузке; календарные сроки всей программы пока не фиксировать.
|
||||||
|
|
||||||
|
## Как оценить первый результат
|
||||||
|
|
||||||
|
На примере Python проверить, может ли читатель определить свой следующий шаг,
|
||||||
|
объем чтения и практики, способ проверки и условие перехода дальше.
|
||||||
|
После этого решить, подходит ли такой формат для остальных блоков.
|
||||||
Reference in new issue
Block a user