feat(sql): явное управление storage и автоматизированный E2E-тест через REST API

- Зачем:
  - необходимо визуализировать выбор типа хранения (Heap vs Append-Only) для учебных целей.
  - автоматизировать проверку всей цепочки DWH для исключения ручных ошибок.
  - сделать процесс отладки прозрачным и наглядным через стандартные инструменты Airflow.
- Что:
  - внедрена клауза WITH (appendonly=...) во все DDL; ODS-справочники переведены на AO Row и TRUNCATE+INSERT.
  - создан скрипт scripts/e2e_etl.sh для полного прогона ETL (DDL + 2 дня данных) через REST API.
  - исправлены баги типизации (INTEGER[]), именования полей (amount, passenger_id) и удалены фантомные колонки (contact_data).
  - обновлен e2e-etl-test-protocol.md: добавлен раздел по отладке, чтению логов и перезапуску задач через API.
  - исправлены pytest-контракты под новую логику загрузки.
- Проверка:
  - успешный прогон `make e2e-smoke` (полный цикл от очистки до витрины).

sql/ods/airports_load.sql

@@ -1,60 +1,9 @@
--- Загрузка ODS по airports: SCD1 (UPDATE изменившихся + INSERT новых).
+-- Загрузка ODS по airports: Полная перезагрузка (TRUNCATE + INSERT).
+-- Почему: для справочников-снимков в Greenplum на AO-таблицах 
+-- эффективнее перетереть данные целиком, чем делать медленный UPDATE.
 
--- Statement 1: UPDATE существующих строк.
--- Нормализация JSON: извлекаем русские названия из полей с мультиязычностью.
--- Почему: источник хранит переводы как {"en": "...", "ru": "..."},
--- в ODS оставляем только один язык для упрощения downstream-логики.
-WITH src AS (
-    SELECT
-        s.airport_code,
-        s.airport_name::json->>'ru' AS airport_name,
-        s.city::json->>'ru' AS city,
-        s.country::json->>'ru' AS country,
-        s.coordinates,
-        s.timezone,
-        ROW_NUMBER() OVER (
-            PARTITION BY s.airport_code
-            ORDER BY s.load_dttm DESC, s.src_created_at_ts DESC NULLS LAST
-        ) AS rn
-    FROM stg.airports AS s
-    WHERE s.batch_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
-)
-UPDATE ods.airports AS o
-SET airport_name = s.airport_name,
-    city         = s.city,
-    country      = s.country,
-    coordinates  = s.coordinates,
-    timezone     = s.timezone,
-    _load_id     = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text,
-    _load_ts     = now()
-FROM src AS s
-WHERE s.rn = 1
-    AND o.airport_code = s.airport_code
-    AND (
-        o.airport_name IS DISTINCT FROM s.airport_name
-        OR o.city IS DISTINCT FROM s.city
-        OR o.country IS DISTINCT FROM s.country
-        OR o.coordinates IS DISTINCT FROM s.coordinates
-        OR o.timezone IS DISTINCT FROM s.timezone
-    );
+TRUNCATE TABLE ods.airports;
 
--- Statement 2: INSERT новых строк.
--- Нормализация JSON: извлекаем русские названия из полей с мультиязычностью.
-WITH src AS (
-    SELECT
-        s.airport_code,
-        s.airport_name::json->>'ru' AS airport_name,
-        s.city::json->>'ru' AS city,
-        s.country::json->>'ru' AS country,
-        s.coordinates,
-        s.timezone,
-        ROW_NUMBER() OVER (
-            PARTITION BY s.airport_code
-            ORDER BY s.load_dttm DESC, s.src_created_at_ts DESC NULLS LAST
-        ) AS rn
-    FROM stg.airports AS s
-    WHERE s.batch_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
-)
 INSERT INTO ods.airports (
     airport_code,
     airport_name,
@@ -65,6 +14,22 @@ INSERT INTO ods.airports (
     _load_id,
     _load_ts
 )
+WITH src AS (
+    -- Выбираем последний снимок из STG для текущего батча
+    SELECT
+        s.airport_code,
+        s.airport_name::json->>'ru' AS airport_name,
+        s.city::json->>'ru' AS city,
+        s.country::json->>'ru' AS country,
+        s.coordinates,
+        s.timezone,
+        ROW_NUMBER() OVER (
+            PARTITION BY s.airport_code
+            ORDER BY s.load_dttm DESC, s.src_created_at_ts DESC NULLS LAST
+        ) AS rn
+    FROM stg.airports AS s
+    WHERE s.batch_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
+)
 SELECT
     s.airport_code,
     s.airport_name,
@@ -75,34 +40,6 @@ SELECT
     '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text,
     now()
 FROM src AS s
-WHERE s.rn = 1
-    AND NOT EXISTS (
-        SELECT 1
-        FROM ods.airports AS o
-        WHERE o.airport_code = s.airport_code
-    );
-
--- Statement 3: DELETE ключей, которых нет в snapshot текущего батча.
--- Это делает ODS для справочника действительно "current state".
-WITH src_keys AS (
-    SELECT d.airport_code
-    FROM (
-        SELECT
-            s.airport_code,
-            ROW_NUMBER() OVER (
-                PARTITION BY s.airport_code
-                ORDER BY s.load_dttm DESC, s.src_created_at_ts DESC NULLS LAST
-            ) AS rn
-        FROM stg.airports AS s
-        WHERE s.batch_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
-    ) AS d
-    WHERE d.rn = 1
-)
-DELETE FROM ods.airports AS o
-WHERE NOT EXISTS (
-    SELECT 1
-    FROM src_keys AS s
-    WHERE s.airport_code = o.airport_code
-);
+WHERE s.rn = 1;
 
 ANALYZE ods.airports;