- Зачем: модули 2–8 в новом процессе выбирали local[*] вместо Spark-кластера.
- Что: master перенесён в общий spark-defaults.conf, smoke требует точный адрес кластера, документация и планы синхронизированы.
- Проверка: фактическая инициализация всех восьми ноутбуков, повторный getOrCreate, распределённые вычисления, Iceberg/MinIO write-read-cleanup и docker compose config прошли.
- Зачем: зафиксированные теги больше не доступны в Docker Hub для чистой установки.
- Что: MinIO Server и mc переведены на официальный Quay с сохранением версий; документация синхронизирована.
- Проверка: docker compose config; docker compose pull minio minio-init; docker compose up -d; MinIO live, init, Trino и Jupyter API.
- Зачем: VS Code через Remote-SSH не мог создать kernel из-за XSRF-проверки при отключённой аутентификации.
- Что: Jupyter ограничен loopback-интерфейсом, а локальный режим без auth и XSRF задан в Docker Compose; документация синхронизирована.
- Проверка: docker compose config; JupyterLab GET 200; kernel POST 201 и DELETE 204 без token/XSRF; порт слушает только 127.0.0.1.
- Зачем:
- закрыты 3 вспомогательных артефакта из course_program.md §3.3: glossary, cheat sheet, mentor notes.
- README переписан с фокусом на ценность для студента.
- Что:
- создан docs/glossary.md (16 терминов, сгруппированных по темам с параллелями к DWH).
- создан docs/mentor_notes.md (тайминг, типичные вопросы, checkpoint-ы, формат «менти работает сам»).
- добавлена секция «Краткая шпаргалка» в docs/stack_reference.md (S3-пути, таблицы, SQL-команды, маунты).
- README.md переписан: лид с навыками, убрано дублирование со stack_reference.
- обновлены перекрёстные ссылки в AGENTS.md, course_program.md, maintainer_guide.md.
- Проверка:
- все ссылки между документами валидны (glossary.md, mentor_notes.md существуют).
- термины glossary и команды шпаргалки верифицированы по содержимому ноутбуков.
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
- Зачем:
- нужно точнее показать пользовательский путь по стенду и добавить понятную точку контакта с автором курса.
- Что:
- обновлена архитектурная диаграмма в README.md: добавлены пользователь, точки входа и явное разделение access, compute и shared services.
- уточнены подписи к ролям компонентов стенда.
- добавлен блок с контактами автора и предложением менторского разбора тем по Data Engineering.
- Проверка:
- сверены диаграмма и описания в README.md с фактической топологией docker-compose и сценарием использования через JupyterLab и Trino.
- Зачем:
- нужно убрать смешение маршрута студента с внутренними документами сопровождения репозитория.
- Что:
- переработан README.md как верхнеуровневый вход в репозиторий без ссылок на внутренние maintainer-документы.
- добавлен docs/stack_reference.md для технического reference стенда и уточнены его роли относительно START_HERE.md.
- синхронизированы AGENTS.md и docs/maintainer_guide.md под новую границу между onboarding и внутренней документацией.
- Проверка:
- сверены README.md, START_HERE.md, docs/stack_reference.md, AGENTS.md и docs/maintainer_guide.md на согласованность маршрута и аудиторий.
- Зачем:
- нужен воспроизводимый вход в курс и единое место хранения планов по модулям.
- Что:
- добавлены `plans/README.md`, living plan Модуля 1, `START_HERE.md` и канонический ноутбук `01_environment_and_smoke_test.ipynb`, а `cluster_smoke.py` расширен до reusable helper и CLI smoke test.
- уточнены onboarding-материалы и окружение: добавлены Spark UI в `README.md`, ресурсы хоста и креды MinIO в `START_HERE.md`, использован `NB_GID` в `jupyter/Dockerfile`, в ноутбуке усилены самостоятельные задания и добавлены `cell id`, а пояснения в `cluster_smoke.py` переведены на русский для студентов.
- обновлены `README.md`, `AGENTS.md` и archive howto, удалены устаревшие `spark-basic-test.ipynb` и `03_partitioning_and_schema_evolution.ipynb`.
- Проверка:
- `python3 -m py_compile src/spark/cluster_smoke.py src/spark/__init__.py`.
- `docker compose build spark-master` и `docker compose build jupyter`.
- `docker compose up -d`, `docker compose exec jupyter python3 -c "from spark.cluster_smoke import create_spark_session, run_cluster_smoke; spark=create_spark_session(app_name='module-01-validation'); print(run_cluster_smoke(spark)); spark.stop()"` и `docker compose exec jupyter jupyter nbconvert --to notebook --execute /opt/work/01_environment_and_smoke_test.ipynb --output-dir /tmp --output module1-validation-2.ipynb`.
- Зачем:
- нужно убрать устаревший учебный маршрут из student-facing документов, но сохранить старые лабораторные как reference-материал.
- Что:
- HOWTO.md перенесен в docs/archive/legacy_howto.md и помечен как архивный legacy-документ.
- README.md больше не отправляет студента в устаревший HOWTO и ссылается на актуальную программу курса.
- Проверка:
- просмотрен git diff -- README.md HOWTO.md docs/archive/legacy_howto.md.
- проверен git diff --cached --stat перед коммитом.
ddadmin
