docs: clarify learner workflow and resource requirements
This commit is contained in:
1 parent
78cf7b5fae
commit
21f3570b89
8 files changed
+399
-138
No files matched your search
+28
-3
@@ -1,6 +1,29 @@
|
||||
# Программа учебного курса: Lakehouse без магии
|
||||
|
||||
Этот документ заменяет предыдущий черновой план и выравнивает программу с PRD из [course_prd.md](./course_prd.md).
|
||||
Здесь собраны порядок модулей, ссылки на ноутбуки и результаты, по которым можно
|
||||
проверить свою работу. Рамки курса и learning outcomes описаны в [course_prd.md](./course_prd.md).
|
||||
|
||||
## Маршрут по модулям
|
||||
|
||||
Перед первым уроком подготовь стенд по [START_HERE](../START_HERE.md).
|
||||
Дальше проходи ноутбуки по порядку: файлы и таблицы из ранних модулей нужны в
|
||||
следующих. Пауза между занятиями описана в [памятке учащегося](./study_workflow.md).
|
||||
|
||||
| Модуль и ноутбук | Что понадобится | Результат перед переходом дальше |
|
||||
| --- | --- | --- |
|
||||
| [1. Вход в стенд](../notebooks/01_environment_and_smoke_test.ipynb) | Работающий стенд | Smoke test вернул `499999500000`; ты можешь показать два worker-а и объяснить роли сервисов |
|
||||
| [2. Модель Lakehouse](../notebooks/02_lakehouse_mental_model.ipynb) | Модуль 1 | Ты нашел файлы демо-таблицы в MinIO и запись каталога в PostgreSQL; выполнил очистку демо по ноутбуку |
|
||||
| [3. Исходные данные](../notebooks/03_raw_ingest_and_first_read.ipynb) | [Четыре файла Taxi](../START_HERE.md#подготовка-учебного-датасета-перед-модулем-3) на хосте | Файлы загружены в raw-зону MinIO, Spark читает их; проверены схема и основные метрики |
|
||||
| [4. Bronze и Iceberg](../notebooks/04_bronze_with_iceberg.ipynb) | Raw-файлы из Модуля 3 | Созданы bronze-таблица поездок и таблица зон из самостоятельного задания; видны их данные и metadata-файлы |
|
||||
| [5. Silver](../notebooks/05_silver_layer.ipynb) | Обе bronze-таблицы | Создана silver-таблица, проверены правила очистки и качество результата |
|
||||
| [6. Spark и Trino](../notebooks/06_spark_and_trino_on_same_table.ipynb) | Silver из Модуля 5; DBeaver по желанию | Одна таблица читается обоими движками; ты можешь объяснить, какие компоненты у них общие |
|
||||
| [7. Изменения таблиц](../notebooks/07_safe_table_changes.ipynb) | Результаты предыдущих модулей | На демо-таблице проверены изменение схемы, чтение прошлого состояния и rollback; silver сохранена |
|
||||
| [8. Обслуживание и финальная практика](../notebooks/08_maintenance_and_final_lab.ipynb) | Raw, bronze и silver | Проверено обслуживание таблиц; самостоятельно пройден поток от исходных файлов до чтения и проверок результата |
|
||||
|
||||
В каждом ноутбуке сначала прочитай объяснение, затем выполни демонстрацию и
|
||||
самостоятельное задание. Checkpoint в конце урока — вопросы и проверки для
|
||||
самопроверки. Сохраненный вывод помогает вернуться к результату, но не заменяет
|
||||
собственный запуск и объяснение.
|
||||
|
||||
## 1. Рамка курса
|
||||
|
||||
@@ -40,7 +63,9 @@
|
||||
* пошаговый гайд по запуску стенда: `build`, `up`, проверка сервисов, открытие UI;
|
||||
* краткое объяснение, как запускать Jupyter-ноутбуки в браузерном VS Code, где лежат ноутбуки и как читать структуру урока;
|
||||
* troubleshooting по типовым проблемам старта;
|
||||
* инструкция по reset/restart стенда для повторного прохождения практик.
|
||||
* [памятка учащегося](./study_workflow.md): продолжение занятия, сохранение данных,
|
||||
перезапуск ядра и диагностика;
|
||||
* отдельная инструкция по сбросу учебных данных для повторного прохождения практик.
|
||||
|
||||
**Что должен закрывать этот слой:**
|
||||
|
||||
@@ -85,7 +110,7 @@
|
||||
|
||||
**Содержание:**
|
||||
|
||||
* запуск `docker compose build` и `docker compose up -d`;
|
||||
* скачивание готовых образов, сборка окружения и запуск по `START_HERE.md`;
|
||||
* проверка сервисов и веб-интерфейсов;
|
||||
* базовый smoke test для Spark;
|
||||
* первый обзор того, где в стенде `MinIO`, `PostgreSQL`, `Spark`, `Trino` и IDE.
|
||||
|
||||
Reference in new issue
Block a user