# spark/spark-defaults.conf # Включаем Iceberg extensions spark.sql.extensions org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions # JDBC-каталог "lakehouse" (метаданные в Postgres, данные в MinIO) spark.sql.catalog.lakehouse org.apache.iceberg.spark.SparkCatalog spark.sql.catalog.lakehouse.catalog-impl org.apache.iceberg.jdbc.JdbcCatalog spark.sql.catalog.lakehouse.uri jdbc:postgresql://postgres-iceberg:5432/iceberg spark.sql.catalog.lakehouse.jdbc.user iceberg spark.sql.catalog.lakehouse.jdbc.password iceberg spark.sql.catalog.lakehouse.jdbc.driver org.postgresql.Driver spark.sql.catalog.lakehouse.warehouse s3a://lakehouse/warehouse # Настройки S3A для MinIO spark.hadoop.fs.s3a.impl org.apache.hadoop.fs.s3a.S3AFileSystem spark.hadoop.fs.s3a.endpoint http://minio:9000 spark.hadoop.fs.s3a.path.style.access true spark.hadoop.fs.s3a.connection.ssl.enabled false # Креды MinIO (для учебного стенда ок в явном виде) spark.hadoop.fs.s3a.access.key minioadmin spark.hadoop.fs.s3a.secret.key minioadmin # Чуть-чуть логики по умолчанию spark.sql.catalog.lakehouse.default-namespace default