ddadmin
6d1b6e9f61
- Зачем: - нужен следующий практический шаг после модулей 1-2: доставить raw-данные в MinIO и впервые прочитать их через Spark. - Что: - добавлен ноутбук модуля 3 с raw ingest, first read, проверкой схемы, null-анализом и поиском аномалий. - обновлены START_HERE, stack reference и docker-compose для data bundle в ./data и mount в /opt/data. - добавлены правила игнорирования data bundle, .gitkeep для пустой директории и обновлён статус плана модуля. - Проверка: - docker compose config. - выполнение notebooks/03_raw_ingest_and_first_read.ipynb на локальном data bundle.
Планы работ
Этот каталог хранит внутренние рабочие планы по развитию учебного курса.
Правила хранения
- Формат:
living docs. - История изменений хранится в git.
- Именование файлов:
module-NN-<english-slug-from-module-title>.md. - В каждом плане фиксируются
СтатусиПоследнее обновление.
Оглавление
| Модуль | План | Статус | Целевые артефакты | Обновлён |
|---|---|---|---|---|
| 1. Вход в стенд и базовая диагностика | module-01-environment-and-basic-diagnostics.md | Ready for validation | START_HERE.md, notebooks/01_environment_and_smoke_test.ipynb, src/spark/cluster_smoke.py |
2026-03-06 |
| 2. Ментальная модель Lakehouse: storage, catalog, compute | module-02-lakehouse-mental-model.md | Ready for validation | notebooks/02_lakehouse_mental_model.ipynb |
2026-03-07 |
| 3. Raw-данные и первое чтение в Spark | module-03-raw-ingest-and-first-read.md | Ready for validation | docker-compose.yml, .gitignore, START_HERE.md, docs/stack_reference.md, notebooks/03_raw_ingest_and_first_read.ipynb |
2026-03-07 |