ddadmin
91a5c85469
- Зачем: модули 2–8 в новом процессе выбирали local[*] вместо Spark-кластера. - Что: master перенесён в общий spark-defaults.conf, smoke требует точный адрес кластера, документация и планы синхронизированы. - Проверка: фактическая инициализация всех восьми ноутбуков, повторный getOrCreate, распределённые вычисления, Iceberg/MinIO write-read-cleanup и docker compose config прошли.
30 lines
1.6 KiB
Plaintext
Executable File
30 lines
1.6 KiB
Plaintext
Executable File
# spark/spark-defaults.conf
|
|
|
|
# Все SparkSession из Jupyter подключаются к кластеру по умолчанию
|
|
spark.master spark://spark-master:7077
|
|
|
|
# Включаем Iceberg extensions
|
|
spark.sql.extensions org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions
|
|
|
|
# JDBC-каталог "lakehouse" (метаданные в Postgres, данные в MinIO)
|
|
spark.sql.catalog.lakehouse org.apache.iceberg.spark.SparkCatalog
|
|
spark.sql.catalog.lakehouse.catalog-impl org.apache.iceberg.jdbc.JdbcCatalog
|
|
spark.sql.catalog.lakehouse.uri jdbc:postgresql://postgres-iceberg:5432/iceberg
|
|
spark.sql.catalog.lakehouse.jdbc.user iceberg
|
|
spark.sql.catalog.lakehouse.jdbc.password iceberg
|
|
spark.sql.catalog.lakehouse.jdbc.driver org.postgresql.Driver
|
|
spark.sql.catalog.lakehouse.warehouse s3a://lakehouse/warehouse
|
|
|
|
# Настройки S3A для MinIO
|
|
spark.hadoop.fs.s3a.impl org.apache.hadoop.fs.s3a.S3AFileSystem
|
|
spark.hadoop.fs.s3a.endpoint http://minio:9000
|
|
spark.hadoop.fs.s3a.path.style.access true
|
|
spark.hadoop.fs.s3a.connection.ssl.enabled false
|
|
|
|
# Креды MinIO (для учебного стенда ок в явном виде)
|
|
spark.hadoop.fs.s3a.access.key minioadmin
|
|
spark.hadoop.fs.s3a.secret.key minioadmin
|
|
|
|
# Чуть-чуть логики по умолчанию
|
|
spark.sql.catalog.lakehouse.default-namespace default
|