de-roadmap/project/TODO.md

TODO: общие задачи проекта

Приоритеты: P1 — делаем в первую очередь; P2 — полезно, когда дойдут руки; P3 — идеи под вопросом.

P1

• Проверить синхронизацию GitHub-зеркала airflow-greenplum. Проверка через git ls-remote 2026-09-27: GitHub отстает от Gitea на коммит 4ed7e6f, меняющий только docs/agents/triage-labels.md. Учебные материалы совпадают. У airflow-manual, mini-lakehouse-lab и de-roadmap ветки main в Gitea и GitHub совпали; прежнее подозрение об их отставании по ответам API не подтвердилось.

P2

• Проработать инструкции по прохождению крупных блоков. Начать с Python: определить части внешних курсов, глубину изучения и практику для бесплатной альтернативы. Далее связать DEV1, книгу и QPT, затем главы Airflow с существующими заданиями. Черновик обсуждения.

• Дополнить практику Kafka перед Clickstream. В nifi-kafka-postgres-lab добавить опыты на существующем потоке: остановить потребителя и дочитать накопившиеся сообщения; прочитать события двумя независимыми consumer groups; повторить чтение и проверить дубли в PostgreSQL. Для каждого опыта описать исходное состояние, действия и проверку результата. Идея согласована 2026-09-27; реализация в репозитории стенда еще не начата.

• Перенос учебника Airflow в de-roadmap. Перенести 9 глав учебника из airflow-manual в airflow/ (de-roadmap). В airflow-manual оставить только стенд (airflow-docker/). Добавить навигацию в mkdocs.yml, обеспечить dual-compatible links.

• Добавить счётчик Google Analytics на сайт (MkDocs Material поддерживает GA через extra.analytics в mkdocs.yml).

• Ориентиры трудозатрат по блокам. Одна строка на блок («~N часов»), по образцу курса Lakehouse (~12–15 часов). Менти всегда спрашивают «сколько займёт»; ориентир защищает от провала в практику на месяцы.

• Шаблон прогресса менти. Файл-чеклист по критериям «когда блок считаем пройденным»; менти копирует в свой форк и ведёт коммитами. Живая практика Git с первой недели + прозрачный прогресс для ментора.

P3

• Свой dbt-стенд. Сейчас практика dbt — на чужом jaffle-shop; единственная секция без собственного стенда. Вариант: dbt-модели поверх postgres-bookings или clickstream-стенда.

• Абзац про Data Quality в курсовой. Валидационный DAG курсовой — это и есть DQ на практике; добавить абзац, как об этом говорить на собеседовании. Новая секция не нужна.

• Иконки/бейджи статуса разделов (пройден / в процессе / не начат) — декоративные, без бэкенда. Сомнение: статус у каждого менти свой, пересекается с идеей шаблона прогресса — возможно, отпадёт.

Сделано

• Исправлена ссылка на практику Airflow — 2026-10-18: educational-tasks.md перенесён в корень airflow-manual; ссылка в роадмапе обновлена, новая страница возвращает HTTP 200. Проверены HTTP-ответы 118 внешних адресов; единственный полученный 404 исправлен. Ответы 403/502 и капча не подтверждают недоступность материала для читателя; доступность видео YouTube по HTTP-статусу не определяется.

• Актуализация маршрута и учебных ссылок - 2026-09-27: ссылки на стенды, SQL и данные, кнопки репозитория на сайте возвращены на GitHub; рабочий origin и публикация сайта остаются в Gitea. Streaming и ClickHouse включены в основную программу перед трудоустройством, clickstream-data-platform стал второй, большой курсовой с критериями прохождения. Ссылка на курс ClickHouse для аналитика удалена. venv и JupyterLab перенесены перед курсом Python для продвинутых; в альтернативу курсу для профи добавлены материалы по управлению памятью и критерий проверки понимания.

• Публикация сайта перенесена на Gitea Actions и VPS — 2026-08-05: настроены repository-scoped host runner, строгая сборка MkDocs, атомарные релизы, nginx и TLS для de.dementev.space; GitHub Pages сохранён как неактивный резерв.

• Подраздел «Linux и терминал» в блоке базовых инструментов — 2026-07-12: видео-интро («Девопс на троечку», покрытие проверено по субтитрам) + три статьи (навигация и grep — habr, права — FirstVDS, ssh — Cloud.ru) + опциональный интерактивный курс Hexlet, примечание про WSL для Windows, два новых критерия готовности блока, Linux добавлен в строку оглавления. Отдельной практики нет — ею служат стенды.

• CI-проверка внешних ссылок — 2026-07-12: lychee.toml + workflow check-links.yml (еженедельно по понедельникам, при битых ссылках создаёт issue). Игнор-лист: habr, stepik, leetcode, realpython (режут ботов), YouTube и t.me (проверка ненадёжна). Попутно исправлена битая ссылка на русские доки Python в README (перевод /ru/ на docs.python.org умер целиком).

• Убрать раздел «Понятие сложности алгоритмов» из README — 2026-07-12, коммит 6f61c0e: асимптотика перенесена в Python ссылкой на разбор Big O (habr), по SQL — без дублирования, тему покрывает QPT.