вынесли sql из dag в папку sql
This commit is contained in:
+3
-24
@@ -22,27 +22,6 @@ CREATE EXTERNAL TABLE public.ext_bookings_bookings (
|
||||
LOCATION ('pxf://bookings.bookings?PROFILE=JDBC&SERVER=bookings-db')
|
||||
FORMAT 'CUSTOM' (formatter='pxfwritable_import');
|
||||
|
||||
-- Схема stg для сырого слоя DWH.
|
||||
CREATE SCHEMA IF NOT EXISTS stg;
|
||||
|
||||
-- Внешняя таблица в схеме stg для чтения данных из bookings.bookings через PXF.
|
||||
DROP EXTERNAL TABLE IF EXISTS stg.bookings_ext;
|
||||
CREATE EXTERNAL TABLE stg.bookings_ext (
|
||||
book_ref CHAR(6),
|
||||
book_date TIMESTAMP,
|
||||
total_amount NUMERIC(10,2)
|
||||
)
|
||||
LOCATION ('pxf://bookings.bookings?PROFILE=JDBC&SERVER=bookings-db')
|
||||
FORMAT 'CUSTOM' (formatter='pxfwritable_import');
|
||||
|
||||
-- Внутренняя таблица stg.bookings — сырой слой, все бизнес-колонки как TEXT.
|
||||
CREATE TABLE IF NOT EXISTS stg.bookings (
|
||||
book_ref TEXT,
|
||||
book_date TEXT,
|
||||
total_amount TEXT,
|
||||
src_created_at_ts TIMESTAMP,
|
||||
load_dttm TIMESTAMP NOT NULL DEFAULT now(),
|
||||
batch_id TEXT NOT NULL
|
||||
)
|
||||
WITH (appendonly=true, orientation=row, compresstype=zlib, compresslevel=1)
|
||||
DISTRIBUTED BY (book_ref);
|
||||
-- DDL для слоя stg по таблице bookings вынесен в отдельный файл.
|
||||
-- Здесь подключаем его через psql \i, чтобы сохранить единый входной скрипт.
|
||||
\i stg/bookings_ddl.sql
|
||||
|
||||
@@ -0,0 +1,59 @@
|
||||
-- Генерация учебного дня в демо-БД bookings.
|
||||
-- Если данные за указанный день уже существуют, генерация не выполняется.
|
||||
|
||||
DO $$
|
||||
DECLARE
|
||||
v_has_day boolean;
|
||||
v_load_date date := {{ params.load_date }}::date;
|
||||
v_max_book_date timestamptz;
|
||||
v_start_date timestamptz;
|
||||
v_end_date timestamptz;
|
||||
v_jobs integer := COALESCE(current_setting('bookings.jobs', true), '1')::integer;
|
||||
v_init_days integer := COALESCE(current_setting('bookings.init_days', true), '1')::integer;
|
||||
v_start_cfg text := COALESCE(current_setting('bookings.start_date', true), '2017-01-01');
|
||||
BEGIN
|
||||
-- Проверяем, что демобаза установлена
|
||||
IF to_regclass('bookings.bookings') IS NULL THEN
|
||||
RAISE EXCEPTION 'Таблица bookings.bookings не найдена. Сначала выполните make bookings-init.';
|
||||
END IF;
|
||||
|
||||
-- Проверяем, есть ли уже данные за нужный день
|
||||
SELECT EXISTS (
|
||||
SELECT 1
|
||||
FROM bookings.bookings
|
||||
WHERE book_date::date = v_load_date
|
||||
)
|
||||
INTO v_has_day;
|
||||
|
||||
IF v_has_day THEN
|
||||
RAISE NOTICE 'Данные за % уже есть в bookings.bookings — генерация не требуется.', v_load_date;
|
||||
RETURN;
|
||||
END IF;
|
||||
|
||||
-- Ищем последнюю сгенерированную дату
|
||||
SELECT max(book_date) INTO v_max_book_date FROM bookings.bookings;
|
||||
|
||||
IF v_max_book_date IS NULL THEN
|
||||
-- База пустая: берём стартовую дату из конфигурации (или дефолтную)
|
||||
v_start_date := date_trunc('day', v_start_cfg::timestamptz);
|
||||
ELSE
|
||||
-- Продолжаем с дня, следующего за максимальной датой
|
||||
v_start_date := date_trunc('day', v_max_book_date) + interval '1 day';
|
||||
END IF;
|
||||
|
||||
-- Первая генерация вызывает generate(), последующие — continue()
|
||||
IF v_max_book_date IS NULL THEN
|
||||
v_end_date := v_start_date + (v_init_days || ' days')::interval;
|
||||
CALL generate(v_start_date, v_end_date, v_jobs);
|
||||
ELSE
|
||||
v_end_date := v_start_date + interval '1 day';
|
||||
CALL continue(v_end_date, v_jobs);
|
||||
END IF;
|
||||
|
||||
-- Ждём завершения фоновых джобов генератора, чтобы данные успели записаться
|
||||
WHILE busy() LOOP
|
||||
PERFORM pg_sleep(1);
|
||||
END LOOP;
|
||||
PERFORM dblink_disconnect(unnest(dblink_get_connections()));
|
||||
END $$;
|
||||
|
||||
@@ -0,0 +1,29 @@
|
||||
-- DDL для слоя STG по таблице bookings.
|
||||
-- Используется как из общего скрипта ddl_gp.sql (через \i),
|
||||
-- так и может выполняться отдельно при изменении схемы.
|
||||
|
||||
-- Схема stg для сырого слоя DWH.
|
||||
CREATE SCHEMA IF NOT EXISTS stg;
|
||||
|
||||
-- Внешняя таблица в схеме stg для чтения данных из bookings.bookings через PXF.
|
||||
DROP EXTERNAL TABLE IF EXISTS stg.bookings_ext;
|
||||
CREATE EXTERNAL TABLE stg.bookings_ext (
|
||||
book_ref CHAR(6),
|
||||
book_date TIMESTAMP,
|
||||
total_amount NUMERIC(10,2)
|
||||
)
|
||||
LOCATION ('pxf://bookings.bookings?PROFILE=JDBC&SERVER=bookings-db')
|
||||
FORMAT 'CUSTOM' (formatter='pxfwritable_import');
|
||||
|
||||
-- Внутренняя таблица stg.bookings — сырой слой, все бизнес-колонки как TEXT.
|
||||
CREATE TABLE IF NOT EXISTS stg.bookings (
|
||||
book_ref TEXT,
|
||||
book_date TEXT,
|
||||
total_amount TEXT,
|
||||
src_created_at_ts TIMESTAMP,
|
||||
load_dttm TIMESTAMP NOT NULL DEFAULT now(),
|
||||
batch_id TEXT NOT NULL
|
||||
)
|
||||
WITH (appendonly=true, orientation=row, compresstype=zlib, compresslevel=1)
|
||||
DISTRIBUTED BY (book_ref);
|
||||
|
||||
@@ -0,0 +1,50 @@
|
||||
-- Проверка количества строк между источником stg.bookings_ext и стейджем stg.bookings.
|
||||
-- Считаем строки за то же окно инкремента, что и при загрузке,
|
||||
-- используя batch_id и "старый" максимум src_created_at_ts.
|
||||
|
||||
DO $$
|
||||
DECLARE
|
||||
v_load_date date := {{ params.load_date }}::date;
|
||||
v_batch_id text := {{ params.batch_id | tojson }}::text;
|
||||
v_prev_ts timestamp;
|
||||
v_src_count bigint;
|
||||
v_stg_count bigint;
|
||||
BEGIN
|
||||
-- Опорная метка: максимум src_created_at_ts среди предыдущих батчей
|
||||
SELECT max(src_created_at_ts)
|
||||
INTO v_prev_ts
|
||||
FROM stg.bookings
|
||||
WHERE batch_id <> v_batch_id
|
||||
OR batch_id IS NULL;
|
||||
|
||||
IF v_prev_ts IS NULL THEN
|
||||
-- Полная загрузка: считаем все строки во внешней таблице
|
||||
SELECT COUNT(*) INTO v_src_count FROM stg.bookings_ext;
|
||||
ELSE
|
||||
-- Инкремент: считаем только строки за текущее окно
|
||||
SELECT COUNT(*)
|
||||
INTO v_src_count
|
||||
FROM stg.bookings_ext
|
||||
WHERE book_date > v_prev_ts
|
||||
AND book_date <= (v_load_date + INTERVAL '1 day');
|
||||
END IF;
|
||||
|
||||
-- Считаем строки, реально вставленные в stg.bookings в этом батче
|
||||
SELECT COUNT(*)
|
||||
INTO v_stg_count
|
||||
FROM stg.bookings
|
||||
WHERE batch_id = v_batch_id;
|
||||
|
||||
IF v_src_count <> v_stg_count THEN
|
||||
RAISE EXCEPTION
|
||||
'Несовпадение количества строк при загрузке bookings: источник=%, stg=%. Проверьте окно инкремента и логи задач загрузки.',
|
||||
v_src_count,
|
||||
v_stg_count;
|
||||
END IF;
|
||||
|
||||
RAISE NOTICE
|
||||
'Проверка количества строк пройдена: источник=%, stg=%',
|
||||
v_src_count,
|
||||
v_stg_count;
|
||||
END $$;
|
||||
|
||||
@@ -0,0 +1,32 @@
|
||||
-- Загрузка инкремента из stg.bookings_ext в stg.bookings.
|
||||
-- Окно инкремента определяется по src_created_at_ts:
|
||||
-- берем строки, где book_date больше максимального src_created_at_ts
|
||||
-- среди "старых" батчей и не позже конца учебного дня.
|
||||
|
||||
INSERT INTO stg.bookings (
|
||||
book_ref,
|
||||
book_date,
|
||||
total_amount,
|
||||
src_created_at_ts,
|
||||
load_dttm,
|
||||
batch_id
|
||||
)
|
||||
SELECT
|
||||
book_ref::text,
|
||||
book_date::text,
|
||||
total_amount::text,
|
||||
book_date::timestamp,
|
||||
now(),
|
||||
{{ params.batch_id | tojson }}::text
|
||||
FROM stg.bookings_ext
|
||||
WHERE book_date > COALESCE(
|
||||
(
|
||||
SELECT max(src_created_at_ts)
|
||||
FROM stg.bookings
|
||||
WHERE batch_id <> {{ params.batch_id | tojson }}::text
|
||||
OR batch_id IS NULL
|
||||
),
|
||||
TIMESTAMP '1900-01-01 00:00:00'
|
||||
)
|
||||
AND book_date <= ({{ params.load_date }}::date + INTERVAL '1 day');
|
||||
|
||||
Reference in New Issue
Block a user