41 lines
2.5 KiB
PL/PgSQL
41 lines
2.5 KiB
PL/PgSQL
-- Главный входной DDL-скрипт для Greenplum в учебном стенде.
|
|
-- Выполняется из контейнера командой `make ddl-gp` и создаёт/обновляет
|
|
-- все объекты, которые нужны базовым DAG (csv_to_greenplum, bookings_to_gp_stage).
|
|
--
|
|
-- Идея такая:
|
|
-- - здесь описаны только верхнеуровневые объекты (orders, внешняя таблица bookings);
|
|
-- - более подробный DDL для отдельных слоёв (stg, src и т.п.) лежит в соседних файлах
|
|
-- в каталоге sql/ и подключается через psql-команду \i;
|
|
-- - чтобы не ломать задания, новые объекты лучше добавлять в отдельные файлы и
|
|
-- подключать их отсюда, а существующие определения не удалять.
|
|
--
|
|
-- Подробнее про STG/bookings: см. docs/internal/bookings_stg_readme.md.
|
|
|
|
-- Таблица для CSV‑пайплайна (csv_to_greenplum).
|
|
-- Колонночная таблица (append-optimized) и распределение по ключу.
|
|
-- Внимание: append-optimized таблицы не поддерживают UNIQUE/PRIMARY KEY,
|
|
-- поэтому контроль дублей выполняем в DAG при загрузке.
|
|
CREATE TABLE IF NOT EXISTS public.orders (
|
|
order_id BIGINT,
|
|
order_ts TIMESTAMP NOT NULL,
|
|
customer_id BIGINT NOT NULL,
|
|
amount NUMERIC(12,2) NOT NULL
|
|
)
|
|
WITH (appendonly=true, orientation=row, compresstype=zlib, compresslevel=1)
|
|
DISTRIBUTED BY (order_id);
|
|
|
|
-- Внешняя таблица для чтения данных из демо-БД bookings через PXF (JDBC).
|
|
-- Источник: таблица bookings.bookings в базе demo (Postgres, сервис bookings-db).
|
|
DROP EXTERNAL TABLE IF EXISTS public.ext_bookings_bookings;
|
|
CREATE EXTERNAL TABLE public.ext_bookings_bookings (
|
|
book_ref CHAR(6),
|
|
book_date TIMESTAMP,
|
|
total_amount NUMERIC(10,2)
|
|
)
|
|
LOCATION ('pxf://bookings.bookings?PROFILE=JDBC&SERVER=bookings-db')
|
|
FORMAT 'CUSTOM' (formatter='pxfwritable_import');
|
|
|
|
-- DDL для слоя stg по таблице bookings вынесен в отдельный файл.
|
|
-- Здесь подключаем его через psql \i, чтобы сохранить единый входной скрипт.
|
|
\i stg/bookings_ddl.sql
|