6.9 KiB
План развития курса «Lakehouse без магии»
Статус: подключение Spark исправлено; практика настройки сессии по #2 подготовлена и проверена, ожидает ревью. Последнее обновление: 2026-09-15.
Здесь собираем отзывы студентов, выбираем следующие улучшения и объясняем их порядок. Подробные задания, критерии приёмки и актуальный статус исполнения хранятся в Gitea Issues.
Текущие рамки курса задаёт PRD, а состав уроков — программа. Статус каждой работы указан ниже. При реализации изменения сначала обновляем соответствующий канонический документ, затем учебные материалы и ссылки на них.
Обратная связь
Базовая настройка Spark-сессии
- Источник: отзыв Арсения Деева, переданный автором курса и зафиксированный 2026-09-15. На момент отзыва студент дошёл до модуля 4.
- Наблюдение студента: курс подходит начинающим, но не хватает базовой настройки Spark-сессии без сложного тюнинга.
- Учебный пробел: студент использует подготовленную сессию; ему нужна практика, чтобы понять, какие настройки потребуются вне готового ноутбука.
- Решение: добавить короткую обязательную практику после модуля 2, перед работой с raw-данными в модуле 3. До её разработки проверить воспроизводимость создания сессий.
Отзыв относится к уже пройденной части курса. Замечания по модулям 5–8 пока не получены.
Ближайшие работы
1. Проверить и исправить создание Spark-сессий
Статус: выполнено, MR #3.
Задача: #1 — подключение Spark-сессий в новом ядре.
В новых процессах модуль 1 подключался к кластеру, а модули 2–8 запускали Spark
локально (local[*]). В исправлении все восемь ноутбуков берут адрес кластера
из spark/spark-defaults.conf.
Проверено: инициализация каждого ноутбука в отдельном процессе,
вычисление на кластере, повторный getOrCreate(), запись и чтение тестовой
Iceberg-таблицы. Результаты проверок и их ограничения приведены в комментарии к #1.
2. Добавить практику «Как настроен Spark в нашем стенде»
Статус: на ревью, MR #4.
Задача: #2 — практика базовой настройки SparkSession.
В модуле 3 студент готовит Spark-сессию, проверяет подключение и затем переходит к загрузке и чтению Taxi. Содержание и checkpoint описаны в программе.
Код проверен на стенде, включая перезапуск ядра и полный raw-ingest. Замеры и ограничения проверки сохранены в отчете.
3. Собрать замечания по оставшейся части курса
Статус: ожидается продолжение обратной связи.
По мере прохождения Арсением остальных модулей добавлять конкретные наблюдения в этот документ. После полного прохода выбрать следующие доработки с учётом повторяющихся затруднений, самостоятельности студента и общей длительности курса.
Новые issues создавать, когда понятны проблема, ожидаемый результат и способ его проверки.
Отложенные идеи
- Небольшой дополнительный опыт с числом партиций и наблюдением выполнения в Spark UI. Вернуться к нему после проверки объёма базовой практики; потребуется объяснить распределённое выполнение.
- Другие возможные расширения перечислены в разделе 7 программы. Их включение и порядок пока не определены.
Номер и дата следующего релиза пока не назначены.
Как обновлять этот план
Для нового предложения записывать: источник и этап прохождения → наблюдение → учебный пробел → предлагаемое изменение → проверяемый результат → статус и ссылка на issue.
После реализации добавлять ссылку на итог задачи и кратко отмечать, что изменилось для студента. Подробные критерии и ход исполнения сохранять в issue.
Выпущенные улучшения
- #1: все восемь ноутбуков подключаются к Spark-кластеру при создании сессии в новом процессе; настройки собраны в
spark/spark-defaults.conf.