feat(sql): явное управление storage и автоматизированный E2E-тест через REST API

- Зачем:
  - необходимо визуализировать выбор типа хранения (Heap vs Append-Only) для учебных целей.
  - автоматизировать проверку всей цепочки DWH для исключения ручных ошибок.
  - сделать процесс отладки прозрачным и наглядным через стандартные инструменты Airflow.
- Что:
  - внедрена клауза WITH (appendonly=...) во все DDL; ODS-справочники переведены на AO Row и TRUNCATE+INSERT.
  - создан скрипт scripts/e2e_etl.sh для полного прогона ETL (DDL + 2 дня данных) через REST API.
  - исправлены баги типизации (INTEGER[]), именования полей (amount, passenger_id) и удалены фантомные колонки (contact_data).
  - обновлен e2e-etl-test-protocol.md: добавлен раздел по отладке, чтению логов и перезапуску задач через API.
  - исправлены pytest-контракты под новую логику загрузки.
- Проверка:
  - успешный прогон `make e2e-smoke` (полный цикл от очистки до витрины).

sql/ods/routes_load.sql

@@ -1,63 +1,9 @@
--- Загрузка ODS по routes: SCD1 (UPDATE изменившихся + INSERT новых).
+-- Загрузка ODS по routes: Полная перезагрузка (TRUNCATE + INSERT).
+-- Почему: для справочников-снимков в Greenplum на AO-таблицах 
+-- эффективнее перетереть данные целиком, чем делать медленный UPDATE.
 
--- Statement 1: UPDATE существующих строк.
-WITH src AS (
-    SELECT
-        s.route_no,
-        s.validity,
-        s.departure_airport,
-        s.arrival_airport,
-        s.airplane_code,
-        s.days_of_week,
-        NULLIF(s.scheduled_time, '')::TIME AS departure_time,
-        NULLIF(s.duration, '')::INTERVAL   AS duration,
-        ROW_NUMBER() OVER (
-            PARTITION BY s.route_no, s.validity
-            ORDER BY s.load_dttm DESC, s.src_created_at_ts DESC NULLS LAST
-        ) AS rn
-    FROM stg.routes AS s
-    WHERE s.batch_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
-)
-UPDATE ods.routes AS o
-SET departure_airport = s.departure_airport,
-    arrival_airport   = s.arrival_airport,
-    airplane_code     = s.airplane_code,
-    days_of_week      = s.days_of_week,
-    departure_time    = s.departure_time,
-    duration          = s.duration,
-    _load_id          = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text,
-    _load_ts          = now()
-FROM src AS s
-WHERE s.rn = 1
-    AND o.route_no = s.route_no
-    AND o.validity = s.validity
-    AND (
-        o.departure_airport IS DISTINCT FROM s.departure_airport
-        OR o.arrival_airport IS DISTINCT FROM s.arrival_airport
-        OR o.airplane_code IS DISTINCT FROM s.airplane_code
-        OR o.days_of_week IS DISTINCT FROM s.days_of_week
-        OR o.departure_time IS DISTINCT FROM s.departure_time
-        OR o.duration IS DISTINCT FROM s.duration
-    );
+TRUNCATE TABLE ods.routes;
 
--- Statement 2: INSERT новых строк.
-WITH src AS (
-    SELECT
-        s.route_no,
-        s.validity,
-        s.departure_airport,
-        s.arrival_airport,
-        s.airplane_code,
-        s.days_of_week,
-        NULLIF(s.scheduled_time, '')::TIME AS departure_time,
-        NULLIF(s.duration, '')::INTERVAL   AS duration,
-        ROW_NUMBER() OVER (
-            PARTITION BY s.route_no, s.validity
-            ORDER BY s.load_dttm DESC, s.src_created_at_ts DESC NULLS LAST
-        ) AS rn
-    FROM stg.routes AS s
-    WHERE s.batch_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
-)
 INSERT INTO ods.routes (
     route_no,
     validity,
@@ -70,49 +16,36 @@ INSERT INTO ods.routes (
     _load_id,
     _load_ts
 )
+WITH src AS (
+    -- Выбираем последний снимок из STG для текущего батча
+    SELECT
+        s.route_no,
+        s.validity,
+        s.departure_airport,
+        s.arrival_airport,
+        s.airplane_code,
+        s.days_of_week::INTEGER[] AS days_of_week,
+        NULLIF(s.scheduled_time, '')::TIME AS departure_time,
+        NULLIF(s.duration, '')::INTERVAL   AS duration,
+        ROW_NUMBER() OVER (
+            PARTITION BY s.route_no, s.validity
+            ORDER BY s.load_dttm DESC, s.src_created_at_ts DESC NULLS LAST
+        ) AS rn
+    FROM stg.routes AS s
+    WHERE s.batch_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
+)
 SELECT
     s.route_no,
     s.validity,
     s.departure_airport,
     s.arrival_airport,
     s.airplane_code,
-    s.days_of_week,
+    s.days_of_week::INTEGER[],
     s.departure_time,
     s.duration,
     '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text,
     now()
 FROM src AS s
-WHERE s.rn = 1
-    AND NOT EXISTS (
-        SELECT 1
-        FROM ods.routes AS o
-        WHERE o.route_no = s.route_no
-            AND o.validity = s.validity
-    );
-
--- Statement 3: DELETE ключей, которых нет в snapshot текущего батча.
--- Это делает ODS для справочника действительно "current state".
-WITH src_keys AS (
-    SELECT d.route_no, d.validity
-    FROM (
-        SELECT
-            s.route_no,
-            s.validity,
-            ROW_NUMBER() OVER (
-                PARTITION BY s.route_no, s.validity
-                ORDER BY s.load_dttm DESC, s.src_created_at_ts DESC NULLS LAST
-            ) AS rn
-        FROM stg.routes AS s
-        WHERE s.batch_id = '{{ ti.xcom_pull(task_ids="resolve_stg_batch_id") }}'::text
-    ) AS d
-    WHERE d.rn = 1
-)
-DELETE FROM ods.routes AS o
-WHERE NOT EXISTS (
-    SELECT 1
-    FROM src_keys AS s
-    WHERE s.route_no = o.route_no
-        AND s.validity = o.validity
-);
+WHERE s.rn = 1;
 
 ANALYZE ods.routes;