- Зачем:
- нужно убрать смешение маршрута студента с внутренними документами сопровождения репозитория.
- Что:
- переработан README.md как верхнеуровневый вход в репозиторий без ссылок на внутренние maintainer-документы.
- добавлен docs/stack_reference.md для технического reference стенда и уточнены его роли относительно START_HERE.md.
- синхронизированы AGENTS.md и docs/maintainer_guide.md под новую границу между onboarding и внутренней документацией.
- Проверка:
- сверены README.md, START_HERE.md, docs/stack_reference.md, AGENTS.md и docs/maintainer_guide.md на согласованность маршрута и аудиторий.
- Зачем:
- нужно отделить стабильные правила для агента от изменчивой структуры курса и стенда.
- Что:
- сокращен и переписан AGENTS.md под текущую модель репозитория как курса вокруг Lakehouse-стенда.
- добавлен docs/maintainer_guide.md с картой репозитория, источниками истины и правилами синхронизации документации.
- Проверка:
- сверены AGENTS.md и docs/maintainer_guide.md с README.md, START_HERE.md, docs/course_prd.md и docs/course_program.md.
- Зачем:
- нужен воспроизводимый вход в курс и единое место хранения планов по модулям.
- Что:
- добавлены `plans/README.md`, living plan Модуля 1, `START_HERE.md` и канонический ноутбук `01_environment_and_smoke_test.ipynb`, а `cluster_smoke.py` расширен до reusable helper и CLI smoke test.
- уточнены onboarding-материалы и окружение: добавлены Spark UI в `README.md`, ресурсы хоста и креды MinIO в `START_HERE.md`, использован `NB_GID` в `jupyter/Dockerfile`, в ноутбуке усилены самостоятельные задания и добавлены `cell id`, а пояснения в `cluster_smoke.py` переведены на русский для студентов.
- обновлены `README.md`, `AGENTS.md` и archive howto, удалены устаревшие `spark-basic-test.ipynb` и `03_partitioning_and_schema_evolution.ipynb`.
- Проверка:
- `python3 -m py_compile src/spark/cluster_smoke.py src/spark/__init__.py`.
- `docker compose build spark-master` и `docker compose build jupyter`.
- `docker compose up -d`, `docker compose exec jupyter python3 -c "from spark.cluster_smoke import create_spark_session, run_cluster_smoke; spark=create_spark_session(app_name='module-01-validation'); print(run_cluster_smoke(spark)); spark.stop()"` и `docker compose exec jupyter jupyter nbconvert --to notebook --execute /opt/work/01_environment_and_smoke_test.ipynb --output-dir /tmp --output module1-validation-2.ipynb`.
- Зачем:
- нужно убрать устаревший учебный маршрут из student-facing документов, но сохранить старые лабораторные как reference-материал.
- Что:
- HOWTO.md перенесен в docs/archive/legacy_howto.md и помечен как архивный legacy-документ.
- README.md больше не отправляет студента в устаревший HOWTO и ссылается на актуальную программу курса.
- Проверка:
- просмотрен git diff -- README.md HOWTO.md docs/archive/legacy_howto.md.
- проверен git diff --cached --stat перед коммитом.
- Зачем:
- нужно выровнять учебную программу с PRD и явно отделить стартовый onboarding от практики в ноутбуках.
- Что:
- обновлены название курса и файл программы, а структура материалов пересобрана вокруг стартовой документации, 8 практических модулей и вспомогательных артефактов.
- добавлены трассировка Learning Outcomes, hands-on упражнение для модуля 2 и уточнения по доставке учебного data bundle.
- зафиксированы acceptance criteria, минимальный scope glossary и статус partitioning как legacy-темы вне обязательного трека v1.
- Проверка:
- просмотрен git diff HEAD~1 -- docs/course_prd.md docs/course_program.md.
- проверен git diff --cached --stat перед amend.
- Зачем:
- зафиксировать согласованную рамку курса по Lakehouse и сделать имя документа проще и единообразнее.
- Что:
- переработан PRD курса: уточнены ЦА, learning outcomes, scope, dataset strategy и out of scope.
- добавлены checkpoints, acceptance criteria и методические принципы курса.
- файл docs/PRD_Course.md переименован в docs/course_prd.md.
- Проверка:
- проверен итоговый diff и содержимое Markdown-документа; код и тесты не затрагивались.
- Зачем:
- Формализовать цели, аудиторию и структуру учебного курса для плавного погружения джунов в Lakehouse-архитектуру.
- Что:
- Создан docs/PRD_Course.md с описанием JTBD, "Aha-moments" и метрик успеха.
- Создан docs/COURSE_PLAN.md с детальной программой из 10 интерактивных уроков.
- Проверка:
- Файлы присутствуют в директории docs и корректно ссылаются друг на друга.
ddadmin