docs(spark): simplify session setup explanations
This commit is contained in:
1 parent
91a5c85469
commit
a5244f8a0b
6 files changed
+30
-16
No files matched your search
+6
-2
@@ -108,11 +108,15 @@ notebooks/01_environment_and_smoke_test.ipynb
|
||||
- `./src` смонтирован read-only как `/opt/src`;
|
||||
- `./data` смонтирован read-only как `/opt/data`;
|
||||
- `PYTHONPATH=/opt/src`, поэтому helper-скрипты из `src/` доступны для импорта в ноутбуках;
|
||||
- новое ядро Jupyter читает `spark/spark-defaults.conf`: из него `SparkSession` получает адрес кластера `spark://spark-master:7077` и настройки Iceberg/MinIO;
|
||||
- повторный запуск ячейки с `getOrCreate()` в том же ядре возвращает существующую сессию; чтобы заново применить стартовые настройки, перезапусти ядро;
|
||||
- первый ноутбук курса: `01_environment_and_smoke_test.ipynb`;
|
||||
- локальный учебный data bundle для Модуля 3 должен быть доступен внутри Jupyter по пути `/opt/data/nyc_taxi`.
|
||||
|
||||
Ноутбуки берут адрес кластера из
|
||||
[`spark/spark-defaults.conf`](./spark/spark-defaults.conf). Если изменил его,
|
||||
перезапусти ядро и заново создай Spark-сессию. Повторный запуск ячейки с
|
||||
`getOrCreate()` использует текущую сессию. При перезапуске ядра переменные Python
|
||||
сбрасываются, а учебные таблицы и файлы сохраняются.
|
||||
|
||||
## Базовая диагностика
|
||||
|
||||
### Посмотреть список контейнеров
|
||||
|
||||
Reference in new issue
Block a user