вынесли sql из dag в папку sql

2025-12-10 16:59:50 +03:00
parent 2c8f5c1e23
commit cacf989a9c
11 changed files with 292 additions and 424 deletions
@@ -0,0 +1,29 @@
+-- DDL для слоя STG по таблице bookings.
+-- Используется как из общего скрипта ddl_gp.sql (через \i),
+-- так и может выполняться отдельно при изменении схемы.
+
+-- Схема stg для сырого слоя DWH.
+CREATE SCHEMA IF NOT EXISTS stg;
+
+-- Внешняя таблица в схеме stg для чтения данных из bookings.bookings через PXF.
+DROP EXTERNAL TABLE IF EXISTS stg.bookings_ext;
+CREATE EXTERNAL TABLE stg.bookings_ext (
+    book_ref     CHAR(6),
+    book_date    TIMESTAMP,
+    total_amount NUMERIC(10,2)
+)
+LOCATION ('pxf://bookings.bookings?PROFILE=JDBC&SERVER=bookings-db')
+FORMAT 'CUSTOM' (formatter='pxfwritable_import');
+
+-- Внутренняя таблица stg.bookings — сырой слой, все бизнес-колонки как TEXT.
+CREATE TABLE IF NOT EXISTS stg.bookings (
+    book_ref          TEXT,
+    book_date         TEXT,
+    total_amount      TEXT,
+    src_created_at_ts TIMESTAMP,
+    load_dttm         TIMESTAMP NOT NULL DEFAULT now(),
+    batch_id          TEXT NOT NULL
+)
+WITH (appendonly=true, orientation=row, compresstype=zlib, compresslevel=1)
+DISTRIBUTED BY (book_ref);
+
@@ -0,0 +1,50 @@
+-- Проверка количества строк между источником stg.bookings_ext и стейджем stg.bookings.
+-- Считаем строки за то же окно инкремента, что и при загрузке,
+-- используя batch_id и "старый" максимум src_created_at_ts.
+
+DO $$
+DECLARE
+    v_load_date   date    := {{ params.load_date }}::date;
+    v_batch_id    text    := {{ params.batch_id | tojson }}::text;
+    v_prev_ts     timestamp;
+    v_src_count   bigint;
+    v_stg_count   bigint;
+BEGIN
+    -- Опорная метка: максимум src_created_at_ts среди предыдущих батчей
+    SELECT max(src_created_at_ts)
+    INTO v_prev_ts
+    FROM stg.bookings
+    WHERE batch_id <> v_batch_id
+        OR batch_id IS NULL;
+
+    IF v_prev_ts IS NULL THEN
+        -- Полная загрузка: считаем все строки во внешней таблице
+        SELECT COUNT(*) INTO v_src_count FROM stg.bookings_ext;
+    ELSE
+        -- Инкремент: считаем только строки за текущее окно
+        SELECT COUNT(*)
+        INTO v_src_count
+        FROM stg.bookings_ext
+        WHERE book_date > v_prev_ts
+          AND book_date <= (v_load_date + INTERVAL '1 day');
+    END IF;
+
+    -- Считаем строки, реально вставленные в stg.bookings в этом батче
+    SELECT COUNT(*)
+    INTO v_stg_count
+    FROM stg.bookings
+    WHERE batch_id = v_batch_id;
+
+    IF v_src_count <> v_stg_count THEN
+        RAISE EXCEPTION
+            'Несовпадение количества строк при загрузке bookings: источник=%, stg=%. Проверьте окно инкремента и логи задач загрузки.',
+            v_src_count,
+            v_stg_count;
+    END IF;
+
+    RAISE NOTICE
+        'Проверка количества строк пройдена: источник=%, stg=%',
+        v_src_count,
+        v_stg_count;
+END $$;
+
@@ -0,0 +1,32 @@
+-- Загрузка инкремента из stg.bookings_ext в stg.bookings.
+-- Окно инкремента определяется по src_created_at_ts:
+-- берем строки, где book_date больше максимального src_created_at_ts
+-- среди "старых" батчей и не позже конца учебного дня.
+
+INSERT INTO stg.bookings (
+    book_ref,
+    book_date,
+    total_amount,
+    src_created_at_ts,
+    load_dttm,
+    batch_id
+)
+SELECT
+    book_ref::text,
+    book_date::text,
+    total_amount::text,
+    book_date::timestamp,
+    now(),
+    {{ params.batch_id | tojson }}::text
+FROM stg.bookings_ext
+WHERE book_date > COALESCE(
+    (
+        SELECT max(src_created_at_ts)
+        FROM stg.bookings
+        WHERE batch_id <> {{ params.batch_id | tojson }}::text
+            OR batch_id IS NULL
+    ),
+    TIMESTAMP '1900-01-01 00:00:00'
+)
+  AND book_date <= ({{ params.load_date }}::date + INTERVAL '1 day');
+