feat(sql): явное управление storage и автоматизированный E2E-тест через REST API

- Зачем:
  - необходимо визуализировать выбор типа хранения (Heap vs Append-Only) для учебных целей.
  - автоматизировать проверку всей цепочки DWH для исключения ручных ошибок.
  - сделать процесс отладки прозрачным и наглядным через стандартные инструменты Airflow.
- Что:
  - внедрена клауза WITH (appendonly=...) во все DDL; ODS-справочники переведены на AO Row и TRUNCATE+INSERT.
  - создан скрипт scripts/e2e_etl.sh для полного прогона ETL (DDL + 2 дня данных) через REST API.
  - исправлены баги типизации (INTEGER[]), именования полей (amount, passenger_id) и удалены фантомные колонки (contact_data).
  - обновлен e2e-etl-test-protocol.md: добавлен раздел по отладке, чтению логов и перезапуску задач через API.
  - исправлены pytest-контракты под новую логику загрузки.
- Проверка:
  - успешный прогон `make e2e-smoke` (полный цикл от очистки до витрины).

sql/ods/airplanes_load.sql

@@ -1,52 +1,9 @@
--- Загрузка ODS по airplanes: SCD1 (UPDATE изменившихся + INSERT новых).
+-- Загрузка ODS по airplanes: Полная перезагрузка (TRUNCATE + INSERT).
+-- Почему: для справочников-снимков в Greenplum на AO-таблицах 
+-- эффективнее перетереть данные целиком, чем делать медленный UPDATE.
 
--- Statement 1: UPDATE существующих строк.
--- Нормализация JSON: извлекаем русское название модели из поля с мультиязычностью.
--- Почему: источник хранит переводы как {"en": "...", "ru": "..."},
--- в ODS оставляем только один язык для упрощения downstream-логики.
-WITH src AS (
-    SELECT
-        s.airplane_code,
-        s.model::json->>'ru' AS model,
-        NULLIF(s.range, '')::INTEGER AS range_km,
-        NULLIF(s.speed, '')::INTEGER AS speed_kmh,
-        ROW_NUMBER() OVER (
-            PARTITION BY s.airplane_code
-            ORDER BY s.load_dttm DESC, s.src_created_at_ts DESC NULLS LAST
-        ) AS rn
-    FROM stg.airplanes AS s
-    WHERE s.batch_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
-)
-UPDATE ods.airplanes AS o
-SET model        = s.model,
-    range_km     = s.range_km,
-    speed_kmh    = s.speed_kmh,
-    _load_id     = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text,
-    _load_ts     = now()
-FROM src AS s
-WHERE s.rn = 1
-    AND o.airplane_code = s.airplane_code
-    AND (
-        o.model IS DISTINCT FROM s.model
-        OR o.range_km IS DISTINCT FROM s.range_km
-        OR o.speed_kmh IS DISTINCT FROM s.speed_kmh
-    );
+TRUNCATE TABLE ods.airplanes;
 
--- Statement 2: INSERT новых строк.
--- Нормализация JSON: извлекаем русское название модели из поля с мультиязычностью.
-WITH src AS (
-    SELECT
-        s.airplane_code,
-        s.model::json->>'ru' AS model,
-        NULLIF(s.range, '')::INTEGER AS range_km,
-        NULLIF(s.speed, '')::INTEGER AS speed_kmh,
-        ROW_NUMBER() OVER (
-            PARTITION BY s.airplane_code
-            ORDER BY s.load_dttm DESC, s.src_created_at_ts DESC NULLS LAST
-        ) AS rn
-    FROM stg.airplanes AS s
-    WHERE s.batch_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
-)
 INSERT INTO ods.airplanes (
     airplane_code,
     model,
@@ -55,6 +12,20 @@ INSERT INTO ods.airplanes (
     _load_id,
     _load_ts
 )
+WITH src AS (
+    -- Выбираем последний снимок из STG для текущего батча
+    SELECT
+        s.airplane_code,
+        s.model::json->>'ru' AS model,
+        NULLIF(s.range, '')::INTEGER AS range_km,
+        NULLIF(s.speed, '')::INTEGER AS speed_kmh,
+        ROW_NUMBER() OVER (
+            PARTITION BY s.airplane_code
+            ORDER BY s.load_dttm DESC, s.src_created_at_ts DESC NULLS LAST
+        ) AS rn
+    FROM stg.airplanes AS s
+    WHERE s.batch_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
+)
 SELECT
     s.airplane_code,
     s.model,
@@ -63,34 +34,6 @@ SELECT
     '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text,
     now()
 FROM src AS s
-WHERE s.rn = 1
-    AND NOT EXISTS (
-        SELECT 1
-        FROM ods.airplanes AS o
-        WHERE o.airplane_code = s.airplane_code
-    );
-
--- Statement 3: DELETE ключей, которых нет в snapshot текущего батча.
--- Это делает ODS для справочника действительно "current state".
-WITH src_keys AS (
-    SELECT d.airplane_code
-    FROM (
-        SELECT
-            s.airplane_code,
-            ROW_NUMBER() OVER (
-                PARTITION BY s.airplane_code
-                ORDER BY s.load_dttm DESC, s.src_created_at_ts DESC NULLS LAST
-            ) AS rn
-        FROM stg.airplanes AS s
-        WHERE s.batch_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
-    ) AS d
-    WHERE d.rn = 1
-)
-DELETE FROM ods.airplanes AS o
-WHERE NOT EXISTS (
-    SELECT 1
-    FROM src_keys AS s
-    WHERE s.airplane_code = o.airplane_code
-);
+WHERE s.rn = 1;
 
 ANALYZE ods.airplanes;