ddadmin
ffd9585ef4
- Зачем: - исключить нестабильные режимы генератора, в которых bookings может перестать пополняться. - сделать причину ошибки понятной студенту сразу при запуске команд и SQL-скриптов. - Что: - добавлен precheck `bookings-check-jobs` в Makefile и подключён к `bookings-init` и `bookings-generate-day`. - добавлены явные проверки `bookings.jobs = 1` в `bookings/generate_next_day.sql` и `sql/src/bookings_generate_day_if_missing.sql`. - обновлена документация и `.env.example`: зафиксировано, что в стенде поддерживается только `BOOKINGS_JOBS=1`. - Проверка: - uv run make fmt. - uv run make test. - env BOOKINGS_JOBS=2 make bookings-init. - env BOOKINGS_JOBS=2 make bookings-generate-day. - make bookings-init. - make bookings-generate-day.
50 lines
1.8 KiB
Bash
50 lines
1.8 KiB
Bash
# Общие настройки
|
|
TZ=Europe/Moscow
|
|
|
|
# Airflow Configuration
|
|
AIRFLOW_USER=admin
|
|
AIRFLOW_PASSWORD=admin
|
|
AIRFLOW__WEBSERVER__SECRET_KEY=your-super-secret-key-here-replace-with-actual-random-key
|
|
# Порт Airflow UI на хосте
|
|
AIRFLOW_WEB_PORT=8080
|
|
|
|
# PostgreSQL (Airflow metadata)
|
|
PG_USER=airflow
|
|
PG_PASSWORD=airflow
|
|
PG_DB=airflow
|
|
# Порт мета-БД Airflow на хосте (нужен в основном для диагностики)
|
|
PGMETA_PORT=5433
|
|
|
|
# Bookings demo database (Postgres)
|
|
BOOKINGS_DB_USER=bookings
|
|
BOOKINGS_DB_PASSWORD=bookings
|
|
BOOKINGS_DB_NAME=bookings
|
|
BOOKINGS_DB_PORT=5434
|
|
# Начальная дата модельного времени для генерации демобазы
|
|
BOOKINGS_START_DATE=2017-01-01
|
|
# Количество дней для первой генерации (держим малым, чтобы быстрее увидеть данные)
|
|
BOOKINGS_INIT_DAYS=1
|
|
# Количество джобов генератора. В учебном стенде поддерживается только значение 1.
|
|
BOOKINGS_JOBS=1
|
|
|
|
# Greenplum Configuration
|
|
GP_USER=gpadmin
|
|
GP_PASSWORD=gpadmin
|
|
GP_DB=gp_dwh
|
|
GP_HOST=greenplum
|
|
GP_PORT=5432
|
|
# Порт Greenplum на хосте (подключение из DBeaver/psql с ноутбука)
|
|
GP_HOST_PORT=5435
|
|
GP_CONN_ID=greenplum_conn
|
|
GP_USE_AIRFLOW_CONN=true
|
|
|
|
# PXF (optional)
|
|
# PXF_SEED_OVERWRITE=1 — принудительно перезаписать seed-файлы из образа в PXF_BASE (полезно после правок в pxf/)
|
|
PXF_SEED_OVERWRITE=0
|
|
# PXF_SYNC_ON_START=1 — выполнять `pxf cluster sync` при старте контейнера (дольше, но гарантирует актуальные конфиги)
|
|
PXF_SYNC_ON_START=0
|
|
|
|
# CSV Pipeline
|
|
CSV_DIR=/opt/airflow/data
|
|
CSV_ROWS=1000
|