первый commit
This commit is contained in:
Executable
+26
@@ -0,0 +1,26 @@
|
||||
# spark/spark-defaults.conf
|
||||
|
||||
# Включаем Iceberg extensions
|
||||
spark.sql.extensions org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions
|
||||
|
||||
# JDBC-каталог "lakehouse" (метаданные в Postgres, данные в MinIO)
|
||||
spark.sql.catalog.lakehouse org.apache.iceberg.spark.SparkCatalog
|
||||
spark.sql.catalog.lakehouse.catalog-impl org.apache.iceberg.jdbc.JdbcCatalog
|
||||
spark.sql.catalog.lakehouse.uri jdbc:postgresql://postgres-iceberg:5432/iceberg
|
||||
spark.sql.catalog.lakehouse.jdbc.user iceberg
|
||||
spark.sql.catalog.lakehouse.jdbc.password iceberg
|
||||
spark.sql.catalog.lakehouse.jdbc.driver org.postgresql.Driver
|
||||
spark.sql.catalog.lakehouse.warehouse s3a://lakehouse/warehouse
|
||||
|
||||
# Настройки S3A для MinIO
|
||||
spark.hadoop.fs.s3a.impl org.apache.hadoop.fs.s3a.S3AFileSystem
|
||||
spark.hadoop.fs.s3a.endpoint http://minio:9000
|
||||
spark.hadoop.fs.s3a.path.style.access true
|
||||
spark.hadoop.fs.s3a.connection.ssl.enabled false
|
||||
|
||||
# Креды MinIO (для учебного стенда ок в явном виде)
|
||||
spark.hadoop.fs.s3a.access.key minioadmin
|
||||
spark.hadoop.fs.s3a.secret.key minioadmin
|
||||
|
||||
# Чуть-чуть логики по умолчанию
|
||||
spark.sql.catalog.lakehouse.default-namespace default
|
||||
Reference in New Issue
Block a user