первый commit

spark/Dockerfile

@@ -0,0 +1,47 @@
+FROM spark:3.5.1-scala2.12-java17-python3-ubuntu
+
+USER root
+ENV DEBIAN_FRONTEND=noninteractive
+
+# Версии зависимостей в одном месте
+ARG HADOOP_AWS_VERSION=3.3.4
+ARG AWS_SDK_VERSION=1.12.262
+ARG ICEBERG_VERSION=1.10.0
+ARG POSTGRES_VERSION=42.7.3
+ARG PYSPARK_VERSION=3.5.1
+
+# Базовый Python/утилиты
+RUN apt-get update \
+ && apt-get install -y python3-pip curl wget nano mc tmux\
+ && rm -rf /var/lib/apt/lists/*
+
+# JAR'ы для S3A и Iceberg
+RUN mkdir -p /opt/spark/jars \
+ && curl -L "https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-aws/${HADOOP_AWS_VERSION}/hadoop-aws-${HADOOP_AWS_VERSION}.jar" \
+      -o "/opt/spark/jars/hadoop-aws-${HADOOP_AWS_VERSION}.jar" \
+ && curl -L "https://repo1.maven.org/maven2/com/amazonaws/aws-java-sdk-bundle/${AWS_SDK_VERSION}/aws-java-sdk-bundle-${AWS_SDK_VERSION}.jar" \
+      -o "/opt/spark/jars/aws-java-sdk-bundle-${AWS_SDK_VERSION}.jar" \
+ && curl -L "https://repo1.maven.org/maven2/org/apache/iceberg/iceberg-spark-runtime-3.5_2.12/${ICEBERG_VERSION}/iceberg-spark-runtime-3.5_2.12-${ICEBERG_VERSION}.jar" \
+      -o "/opt/spark/jars/iceberg-spark-runtime-3.5_2.12-${ICEBERG_VERSION}.jar" \
+ && curl -L "https://repo1.maven.org/maven2/org/postgresql/postgresql/${POSTGRES_VERSION}/postgresql-${POSTGRES_VERSION}.jar" \
+      -o "/opt/spark/jars/postgresql-${POSTGRES_VERSION}.jar"
+
+# Общие Python-пакеты для драйвера и executors
+RUN pip3 install --no-cache-dir \
+      "pyspark==${PYSPARK_VERSION}" \
+      pandas \
+      numpy \
+      pyarrow
+
+ENV PYSPARK_PYTHON=python3
+ENV PYSPARK_DRIVER_PYTHON=python3
+
+# Конфиг Spark (S3 + Iceberg + каталог lakehouse)
+RUN mkdir -p /opt/spark/conf
+# Конфиги подключим уже в docker-compose
+# COPY spark-defaults.conf /opt/spark/conf/spark-defaults.conf
+
+# Возвращаемся к непривилегированному UID как в официальном образе
+# (комментарий отдельно, чтобы не ломать USER)
+# тот же пользователь, что в официальном spark-образе
+USER 185