ddadmin
f703d8e96d
- Зачем: - Необходим пример загрузки данных из CSV в Greenplum через Airflow - Добавлены проверки качества данных для валидации загруженных данных - Что: - создан DAG csv_to_greenplum для генерации и загрузки CSV в таблицу orders - создан DAG csv_to_greenplum_dq для проверок качества данных - создан DAG ddl_greenplum_base для применения DDL таблицы orders - добавлен модуль helpers/greenplum с функциями подключения и валидации - добавлен SQL-скрипт sql/base/orders_ddl.sql для создания таблицы - добавлены unit-тесты test_greenplum_helpers.py - Проверка: - запуск DAG csv_to_greenplum в Airflow UI - запуск тестов pytest tests/test_greenplum_helpers.py
12 lines
515 B
SQL
12 lines
515 B
SQL
-- DDL для базовой таблицы orders, которую использует CSV‑pipeline.
|
|
-- Выполняется идемпотентно: таблица создаётся, если ещё не существует.
|
|
|
|
CREATE TABLE IF NOT EXISTS public.orders (
|
|
order_id BIGINT,
|
|
order_ts TIMESTAMP NOT NULL,
|
|
customer_id BIGINT NOT NULL,
|
|
amount NUMERIC(12,2) NOT NULL
|
|
)
|
|
WITH (appendonly=true, orientation=row, compresstype=zstd, compresslevel=1)
|
|
DISTRIBUTED BY (order_id);
|