Author SHA1 Message Date
ddadmin 2732622919 fix(docs): исправлена ссылка на практику Airflow
- Зачем: прежний путь к заданиям возвращал 404.
- Что: обновлена ссылка и отмечен результат проверки в списке задач.
- Проверка: новая ссылка возвращает 200, строгая сборка MkDocs проходит;
  проверены 734 внутренние ссылки и якоря без ошибок.
2026-10-18 17:25:49 +02:00
ddadmin 56133ccfae docs(docs): добавлен черновик проработки учебного маршрута
- Зачем: нужны письменные указания по порядку и глубине изучения материалов.
- Что: описаны первый разбор Python, дальнейшие направления для SQL и Airflow; добавлена задача в бэклог.
- Проверка: проверены относительные ссылки, отсутствие приватных идентификаторов и пробелов в конце строк; git diff --cached --check прошел.
2026-09-27 16:23:46 -04:00
3 changed files with 100 additions and 1 deletions

No files matched your search

+1 -1
View File
@@ -317,7 +317,7 @@ Apache Airflow — инструмент для оркестрации ETL-про
Материалы:
- [Учебник по Airflow](https://github.com/dementev-dev/airflow-manual)
- [Практические задания на стенде](https://github.com/dementev-dev/airflow-manual/blob/main/airflow-docker/educational-tasks.md)
- [Практические задания на стенде](https://github.com/dementev-dev/airflow-manual/blob/main/educational-tasks.md)
Задания выполняем параллельно с чтением учебника. Начинаем с простых DAG
и SQL, затем обрабатываем файлы, загружаем CSV в PostgreSQL и добавляем
+13
View File
@@ -13,6 +13,12 @@
## P2
- [ ] **Проработать инструкции по прохождению крупных блоков.**
Начать с Python: определить части внешних курсов, глубину изучения
и практику для бесплатной альтернативы. Далее связать DEV1, книгу и QPT,
затем главы Airflow с существующими заданиями.
[Черновик обсуждения](specs/2026-09-27-learning-route.md).
- [ ] **Дополнить практику Kafka перед Clickstream.**
В `nifi-kafka-postgres-lab` добавить опыты на существующем потоке:
остановить потребителя и дочитать накопившиеся сообщения; прочитать
@@ -56,6 +62,13 @@
## Сделано
- [x] **Исправлена ссылка на практику Airflow** — 2026-10-18:
`educational-tasks.md` перенесён в корень `airflow-manual`; ссылка в роадмапе
обновлена, новая страница возвращает HTTP 200. Проверены HTTP-ответы
118 внешних адресов; единственный полученный 404 исправлен. Ответы
403/502 и капча не подтверждают недоступность материала для читателя;
доступность видео YouTube по HTTP-статусу не определяется.
- [x] **Актуализация маршрута и учебных ссылок** - 2026-09-27:
ссылки на стенды, SQL и данные, кнопки репозитория на сайте возвращены
на GitHub; рабочий origin и публикация сайта остаются в Gitea.
@@ -0,0 +1,86 @@
# Как проходить материалы роадмапа
Статус: черновик для обсуждения. Базовая актуализация опубликована отдельно
в коммите `806417c`. Здесь прорабатываем следующий этап: письменные указания
по порядку занятий, глубине чтения и выполнению заданий.
## Задача
На занятиях ментор регулярно объясняет, какие части внешнего курса нужны
целиком, где достаточно нескольких упражнений и когда переходить к стенду.
Эти указания должны быть доступны рядом с материалами, до начала работы.
Предлагаемый формат: в README оставить общий маршрут. Подробные инструкции
к крупным блокам вынести на отдельные страницы со ссылками из этих разделов.
У каждого шага должны быть понятны материал, глубина изучения, практика
и результат, с которым можно переходить дальше.
## Какие вопросы должна закрыть инструкция
- Какие части внешних курсов Python нужны для дальнейшей практики?
- Насколько подробно изучать устройство PostgreSQL в QPT?
- Какие главы книги прочитать перед конкретными лекциями DEV1?
- Как поддерживать SQL-практику после перехода к следующему блоку?
- Когда запускать каждый стенд и какие задания на нем выполнять?
Объем упражнений связываем с проверяемыми умениями. Индивидуальные сроки
и сокращения программы не превращаем в требования ко всем учащимся.
## Что уже определено
- Docker впервые используем на DEV1: запускаем PostgreSQL, проверяем статус,
подключаемся к базе. Подробный блок Docker остается дальше.
- Data Vault и Anchor Modeling изучаем обзорно.
- venv и JupyterLab осваиваем перед Python для продвинутых.
- Greenplum остается первой курсовой; Kafka, ClickHouse и Clickstream входят
в основную программу. Lakehouse и dbt идут после нее.
- Задания Python и SQL в Airflow уже есть. Для них нужна привязка к чтению
учебника и моменту выполнения.
- Опыты с Kafka записаны отдельной задачей в [TODO](../TODO.md).
## Первый блок для проработки: Python
Собрать инструкцию к существующим курсам и бесплатным материалам.
Начальный вариант границ для проверки:
| Тема | Как проходить | Как проверить результат |
|---|---|---|
| Вложенные списки и матрицы | Выборочные упражнения на механику | Самостоятельно обойти и изменить вложенный список |
| Словари, функции, файлы | Подробно, с практикой | Прочитать данные, преобразовать их и сохранить результат |
| Turtle и Monte Carlo | Можно пропустить в основном маршруте | Отдельная проверка не нужна |
| Память и ссылки, исключения, итераторы и генераторы | Включить и в курс, и в бесплатную альтернативу | Объяснить поведение небольшого примера и самостоятельно изменить его |
Два варианта после advanced Python должны приводить к одному набору умений:
выбранные части Python Professional или последовательность бесплатных
материалов с упражнениями. Особенно проверить покрытие управления памятью
и обработки исключений.
Перед публикацией нужно сверить актуальное оглавление обоих курсов,
подобрать точные разделы и определить достаточную практику. Проценты заданий
из отдельной встречи не заменяют этого отбора. Также нужно уточнить глубину
ООП, pandas и декораторов для дальнейших заданий Airflow.
## Следующие кандидаты
Для DEV1 связать лекции, главы книги и практику на `postgres-bookings`.
Например, чтение о транзакциях поставить перед темой MVCC. На входе пояснить,
где выполняются команды: терминал, `psql`, редактор SQL в DBeaver.
Для QPT описать результат первого прохода и возвращение к теме позже.
Предлагаемый результат: прочитать план, сопоставить оценки с фактическими
строками, сформулировать и проверить гипотезу. Повторная практика должна
использовать уже знакомую базу и конкретный запрос.
Для Airflow сопоставить главы учебника с существующими заданиями.
В каждом переходе обозначить, что сначала разбираем по готовому примеру,
что делаем самостоятельно и как проверяем результат.
На переходах между крупными блоками напомнить о короткой регулярной практике
SQL, а после Python добавить и его поддержание. Объем подбирать по учебной
нагрузке; календарные сроки всей программы пока не фиксировать.
## Как оценить первый результат
На примере Python проверить, может ли читатель определить свой следующий шаг,
объем чтения и практики, способ проверки и условие перехода дальше.
После этого решить, подходит ли такой формат для остальных блоков.