ddadmin
6d1b6e9f61
- Зачем: - нужен следующий практический шаг после модулей 1-2: доставить raw-данные в MinIO и впервые прочитать их через Spark. - Что: - добавлен ноутбук модуля 3 с raw ingest, first read, проверкой схемы, null-анализом и поиском аномалий. - обновлены START_HERE, stack reference и docker-compose для data bundle в ./data и mount в /opt/data. - добавлены правила игнорирования data bundle, .gitkeep для пустой директории и обновлён статус плана модуля. - Проверка: - docker compose config. - выполнение notebooks/03_raw_ingest_and_first_read.ipynb на локальном data bundle.
30 lines
344 B
Plaintext
Executable File
30 lines
344 B
Plaintext
Executable File
.ipynb_checkpoints
|
|
__pycache__/
|
|
|
|
# Python bytecode / build artifacts
|
|
*.py[cod]
|
|
*.pyo
|
|
*.pyd
|
|
*.egg-info/
|
|
*.egg
|
|
|
|
# Virtual environments
|
|
.venv/
|
|
venv/
|
|
|
|
# Editor / IDE settings
|
|
.idea/
|
|
.vscode/
|
|
|
|
# Local config
|
|
.env
|
|
|
|
# Logs
|
|
*.log
|
|
|
|
# Dataset (downloaded by student, not stored in repo)
|
|
/data/*
|
|
!/data/nyc_taxi/
|
|
/data/nyc_taxi/*
|
|
!/data/nyc_taxi/.gitkeep
|