ddadmin
a6a3559ab9
- Зачем: - Пример базовой загрузки CSV перенесен в отдельный репозиторий `airflow-manual` для разделения учебных треков. - Что: - удалены DAG-файлы `csv_to_greenplum` и вспомогательные скрипты `helpers/greenplum.py`, `orders_ddl.sql`. - из `docker-compose.yml` и `.env.example` удалены переменные и тома (`airflow_data`), необходимые для CSV. - очищена документация (`README.md`, `TESTING.md`, `educational-tasks.md`) и тесты (`test_dags_smoke.py`, `conftest.py`). - отмечен выполненным 'Этап 1' в `TODO.md`. - Проверка: - `make test` проходит успешно (smoke-тесты оставшихся DAG-ов не затронуты).
46 lines
1.8 KiB
Bash
46 lines
1.8 KiB
Bash
# Общие настройки
|
|
TZ=Europe/Moscow
|
|
|
|
# Airflow Configuration
|
|
AIRFLOW_USER=admin
|
|
AIRFLOW_PASSWORD=admin
|
|
AIRFLOW__WEBSERVER__SECRET_KEY=your-super-secret-key-here-replace-with-actual-random-key
|
|
# Порт Airflow UI на хосте
|
|
AIRFLOW_WEB_PORT=8080
|
|
|
|
# PostgreSQL (Airflow metadata)
|
|
PG_USER=airflow
|
|
PG_PASSWORD=airflow
|
|
PG_DB=airflow
|
|
# Порт мета-БД Airflow на хосте (нужен в основном для диагностики)
|
|
PGMETA_PORT=5433
|
|
|
|
# Bookings demo database (Postgres)
|
|
BOOKINGS_DB_USER=bookings
|
|
BOOKINGS_DB_PASSWORD=bookings
|
|
BOOKINGS_DB_NAME=bookings
|
|
BOOKINGS_DB_PORT=5434
|
|
# Начальная дата модельного времени для генерации демобазы
|
|
BOOKINGS_START_DATE=2017-01-01
|
|
# Количество дней для первой генерации (держим малым, чтобы быстрее увидеть данные)
|
|
BOOKINGS_INIT_DAYS=1
|
|
# Количество джобов генератора. В учебном стенде поддерживается только значение 1.
|
|
BOOKINGS_JOBS=1
|
|
|
|
# Greenplum Configuration
|
|
GP_USER=gpadmin
|
|
GP_PASSWORD=gpadmin
|
|
GP_DB=gp_dwh
|
|
GP_HOST=greenplum
|
|
GP_PORT=5432
|
|
# Порт Greenplum на хосте (подключение из DBeaver/psql с ноутбука)
|
|
GP_HOST_PORT=5435
|
|
GP_CONN_ID=greenplum_conn
|
|
GP_USE_AIRFLOW_CONN=true
|
|
|
|
# PXF (optional)
|
|
# PXF_SEED_OVERWRITE=1 — принудительно перезаписать seed-файлы из образа в PXF_BASE (полезно после правок в pxf/)
|
|
PXF_SEED_OVERWRITE=0
|
|
# PXF_SYNC_ON_START=1 — выполнять `pxf cluster sync` при старте контейнера (дольше, но гарантирует актуальные конфиги)
|
|
PXF_SYNC_ON_START=0
|