diff --git a/.env.example b/.env.example index 427970c..3d9ecef 100644 --- a/.env.example +++ b/.env.example @@ -15,6 +15,8 @@ BOOKINGS_DB_NAME=bookings BOOKINGS_DB_PORT=5434 # Начальная дата модельного времени для генерации демобазы BOOKINGS_START_DATE=2017-01-01 +# Количество дней для первой генерации (потом добавляем по одному дню) +BOOKINGS_INIT_DAYS=30 # Количество параллельных джобов генератора (по умолчанию 1) BOOKINGS_JOBS=1 diff --git a/Makefile b/Makefile index bed8b0b..bc011a0 100644 --- a/Makefile +++ b/Makefile @@ -4,6 +4,8 @@ PYTHON_VERSION := 3.11 DEMODB_REPO := https://github.com/postgrespro/demodb.git DEMODB_COMMIT := d68de192850237719f09b47688d5f3fc94653ca6 BOOKINGS_JOBS ?= 1 +BOOKINGS_START_DATE ?= 2017-01-01 +BOOKINGS_INIT_DAYS ?= 30 .PHONY: up down airflow-init logs gp-psql ddl-gp \ bookings-clone-demodb bookings-init bookings-psql bookings-generate-day \ @@ -42,23 +44,21 @@ bookings-init: bookings-clone-demodb CONNSTR="dbname=demo user=$$POSTGRES_USER password=$$POSTGRES_PASSWORD"; \ PGPASSWORD="$$POSTGRES_PASSWORD" psql -v ON_ERROR_STOP=1 -U "$$POSTGRES_USER" -d "$$POSTGRES_DB" -c "ALTER DATABASE demo SET gen.connstr='\''$$CONNSTR'\'';" \ ' + docker compose -f docker-compose.yml exec bookings-db bash -lc '\ + PGPASSWORD="$$POSTGRES_PASSWORD" psql -v ON_ERROR_STOP=1 -U "$$POSTGRES_USER" -d demo -c "\ + ALTER DATABASE demo SET bookings.start_date = '\''$(BOOKINGS_START_DATE)'\''; \ + ALTER DATABASE demo SET bookings.init_days = '\''$(BOOKINGS_INIT_DAYS)'\''; \ + ALTER DATABASE demo SET bookings.jobs = '\''$(BOOKINGS_JOBS)'\'';" \ + ' # Генерируем первый день данных, чтобы база не оставалась пустой - docker compose -f docker-compose.yml exec -T bookings-db bash -lc 'PGPASSWORD="$$POSTGRES_PASSWORD" psql -v ON_ERROR_STOP=1 -U "$$POSTGRES_USER" -d demo -v start_date="$${BOOKINGS_START_DATE:-2017-01-01}" -v jobs="$(BOOKINGS_JOBS)" <<'"'"'SQL'"'"' - SET bookings.start_date = :'start_date'; - \i /bookings/generate_next_day.sql - RESET bookings.start_date; - SQL' + docker compose -f docker-compose.yml exec bookings-db bash -lc 'printf "SET bookings.start_date = '\''$(BOOKINGS_START_DATE)'\'';\\nSET bookings.init_days = '\''$(BOOKINGS_INIT_DAYS)'\'';\\nSET bookings.jobs = '\''$(BOOKINGS_JOBS)'\'';\\n\\\\i /bookings/generate_next_day.sql\\n" | PGPASSWORD="$$POSTGRES_PASSWORD" psql -v ON_ERROR_STOP=1 -U "$$POSTGRES_USER" -d demo' bookings-psql: docker compose -f docker-compose.yml exec bookings-db bash -lc 'PGPASSWORD="$$POSTGRES_PASSWORD" psql -U "$$POSTGRES_USER" -d demo' bookings-generate-day: docker compose -f docker-compose.yml up -d bookings-db - docker compose -f docker-compose.yml exec -T bookings-db bash -lc 'PGPASSWORD="$$POSTGRES_PASSWORD" psql -v ON_ERROR_STOP=1 -U "$$POSTGRES_USER" -d demo -v start_date="$${BOOKINGS_START_DATE:-2017-01-01}" -v jobs="$(BOOKINGS_JOBS)" <<'"'"'SQL'"'"' - SET bookings.start_date = :'start_date'; - \i /bookings/generate_next_day.sql - RESET bookings.start_date; - SQL' + docker compose -f docker-compose.yml exec bookings-db bash -lc 'printf "SET bookings.start_date = '\''$(BOOKINGS_START_DATE)'\'';\\nSET bookings.init_days = '\''$(BOOKINGS_INIT_DAYS)'\'';\\nSET bookings.jobs = '\''$(BOOKINGS_JOBS)'\'';\\n\\\\i /bookings/generate_next_day.sql\\n" | PGPASSWORD="$$POSTGRES_PASSWORD" psql -v ON_ERROR_STOP=1 -U "$$POSTGRES_USER" -d demo' dev-setup: $(UV) python install $(PYTHON_VERSION) diff --git a/README.md b/README.md index 9282f9f..bb34841 100644 --- a/README.md +++ b/README.md @@ -202,7 +202,8 @@ make logs # Следить за логами Airflow - `BOOKINGS_DB_PASSWORD` — пароль пользователя (по умолчанию: bookings) - `BOOKINGS_DB_NAME` — база данных, из которой запускается установка генератора (по умолчанию: bookings) - `BOOKINGS_DB_PORT` — внешний порт для подключения к контейнеру bookings-db (по умолчанию: 5434) -- `BOOKINGS_START_DATE` — начальная дата модельного времени для первой генерации данных (по умолчанию: 2017-01-01, генерируем первые сутки сразу после `make bookings-init`) +- `BOOKINGS_START_DATE` — начальная дата модельного времени (по умолчанию: 2017-01-01) +- `BOOKINGS_INIT_DAYS` — сколько дней сгенерировать при первой инициализации (по умолчанию: 30) - `BOOKINGS_JOBS` — число параллельных джобов генератора bookings (по умолчанию: 1) ### CSV pipeline diff --git a/bookings/generate_next_day.sql b/bookings/generate_next_day.sql index 2c9d662..00010be 100644 --- a/bookings/generate_next_day.sql +++ b/bookings/generate_next_day.sql @@ -1,11 +1,12 @@ --- Если база пуста, берём стартовую дату из параметра :start_date (формат YYYY-MM-DD). --- psql не умеет подставлять :start_date внутрь DO $$...$$, поэтому прокидываем дату через GUC. -SET bookings.start_date = :'start_date'; +-- Если база пуста, берём стартовую дату из GUC bookings.start_date (по умолчанию: 2017-01-01). DO $$ DECLARE v_max_book_date timestamptz; v_start_date timestamptz; v_end_date timestamptz; + v_jobs integer := COALESCE(current_setting('bookings.jobs', true), '1')::integer; + v_init_days integer := COALESCE(current_setting('bookings.init_days', true), '1')::integer; + v_start_cfg text := COALESCE(current_setting('bookings.start_date', true), '2017-01-01'); BEGIN -- Проверяем, что демобаза установлена IF to_regclass('bookings.bookings') IS NULL THEN @@ -16,20 +17,20 @@ BEGIN SELECT max(book_date) INTO v_max_book_date FROM bookings.bookings; IF v_max_book_date IS NULL THEN - -- База пустая: берём стартовую дату из переданного параметра - v_start_date := date_trunc('day', current_setting('bookings.start_date')::timestamptz); + -- База пустая: берём стартовую дату из конфигурации (или дефолтную) + v_start_date := date_trunc('day', v_start_cfg::timestamptz); ELSE -- Продолжаем с дня, следующего за максимальной датой v_start_date := date_trunc('day', v_max_book_date) + interval '1 day'; END IF; - v_end_date := v_start_date + interval '1 day'; - -- Первая генерация вызывает generate(), последующие — continue() IF v_max_book_date IS NULL THEN - CALL generate(v_start_date, v_end_date, :'jobs'); + v_end_date := v_start_date + (v_init_days || ' days')::interval; + CALL generate(v_start_date, v_end_date, v_jobs); ELSE - CALL continue(v_end_date, :'jobs'); + v_end_date := v_start_date + interval '1 day'; + CALL continue(v_end_date, v_jobs); END IF; -- Ждём завершения фоновых джобов генератора, чтобы данные успели записаться @@ -37,6 +38,4 @@ BEGIN PERFORM pg_sleep(1); END LOOP; PERFORM dblink_disconnect(unnest(dblink_get_connections())); - END $$; -RESET bookings.start_date; diff --git a/docs/internal/bookings_tz.md b/docs/internal/bookings_tz.md index 0c04a68..2a66a15 100644 --- a/docs/internal/bookings_tz.md +++ b/docs/internal/bookings_tz.md @@ -12,6 +12,24 @@ _Этот файл внутренний, удалить перед итогов ## Текущее состояние - `Makefile` очищен: убраны автопатчи demodb; добавлены `DEMODB_REPO/DEMODB_COMMIT` с фиксированным хешем `d68de1…`, таргет снова исполняется. `BOOKINGS_JOBS` задаёт число джобов генерации (по умолчанию 1). - `.gitignore` дополнен `bookings/demodb/` (клонируем по требованию, не коммитим). -- `bookings-init` теперь после установки сразу генерирует 1 день (дата из `BOOKINGS_START_DATE`, по умолчанию 2017-01-01), используя обертку `generate_next_day.sql`. -- `generate_next_day.sql` принимает `:jobs` и ожидает завершения `busy()`, закрывая dblink. -- Генерация через `make` надо подтвердить повторно (в DBeaver генерация работает, но медленно на больших окнах; по умолчанию делаем сутки, далее — по одному дню через `bookings-generate-day`). +- `bookings-init` теперь после установки запускает генерацию (дата из `BOOKINGS_START_DATE`, дни из `BOOKINGS_INIT_DAYS`, параллельность `BOOKINGS_JOBS`), используя обертку `generate_next_day.sql`. +- `generate_next_day.sql` читает GUC `bookings.start_date/init_days/jobs`, вызывает `generate/continue`, ждёт `busy()`, закрывает dblink. +- Генерация через `make` остаётся нестабильной: в логах обрывы dblink, данные не появляются. + +## Текущее состояние тестов/проблем +- Прогон `make bookings-init` с `BOOKINGS_JOBS=2`, `BOOKINGS_INIT_DAYS=30`: установка ок, GUC/`gen.connstr` выставлены, `Starting job 1/2: ok`, но `bookings.bookings` пустая, в `gen.events` висит `INIT`, `busy()` может быть `t`. Логи: `could not send data to client: Broken pipe` / `connection to client lost` при `TRUNCATE ... CASCADE` в `do_init`. +- С `BOOKINGS_JOBS=1` аналогично. Ручная генерация в DBeaver (CALL generate(now(), now()+interval '1 year')) ранее шла медленно, так что проблема может быть в запуске через `docker exec`/pipe или в dblink-подключениях. + +## Идеи/следующие шаги +- Проверить генерацию внутри контейнера через here-doc без пайпа: + ``` + docker compose exec -T bookings-db psql -U bookings -d demo <<'SQL' + SET bookings.start_date = '2017-01-01'; + SET bookings.init_days = '30'; + SET bookings.jobs = '1'; + \i /bookings/generate_next_day.sql + SQL + ``` + Наблюдать `busy()`, `gen.log`, `gen.events/events_history`. +- Если так ок — переписать Makefile под такой запуск. Если нет — попробовать `gen.connstr` с `host=localhost` и/или оставить `jobs=1` без dblink. +- Пока нестабильно, держать `init_days` небольшим (1–3), чтобы быстро видеть прогресс.