ddadmin
8028711f0c
- Зачем: - адаптация пайплайна для работы с чистым PostgreSQL вместо Greenplum - обеспечение совместимости с учебным стендом на базе Docker Compose - Что: - переименованы файлы (greenplum -> postgres) - обновлены DAG-файлы: замена get_gp_conn на get_postgres_conn, адаптация DDL под PostgreSQL - обновлён helpers/postgres.py: замена функций и переменных окружения - добавлен pytest в requirements.txt для запуска тестов - создан tests/conftest.py с функцией patch_postgres_hook - обновлён tests/test_postgres_helpers.py: исправлены импорты - добавлено монтирование папки tests в docker-compose.yml - адаптирован sql/base/orders_ddl.sql под PostgreSQL - Проверка: - docker-compose exec airflow-webserver pytest /opt/airflow/tests/test_postgres_helpers.py
9 lines
424 B
SQL
9 lines
424 B
SQL
-- DDL для базовой таблицы orders, которую использует CSV‑pipeline.
|
|
-- Выполняется идемпотентно: таблица создаётся, если ещё не существует.
|
|
|
|
CREATE TABLE IF NOT EXISTS public.orders (
|
|
order_id BIGINT PRIMARY KEY,
|
|
order_ts TIMESTAMP NOT NULL,
|
|
customer_id BIGINT NOT NULL,
|
|
amount NUMERIC(12,2) NOT NULL
|
|
); |