From 250af00b2f06927a7002b9825d96167bff508ac0 Mon Sep 17 00:00:00 2001 From: Dmitry Dementev Date: Wed, 10 Dec 2025 21:56:12 +0300 Subject: [PATCH] =?UTF-8?q?refactor(bookings):=20=D1=83=D0=BF=D1=80=D0=BE?= =?UTF-8?q?=D1=81=D1=82=D0=B8=D1=82=D1=8C=20=D1=80=D0=B0=D0=B1=D0=BE=D1=82?= =?UTF-8?q?=D1=83=20=D1=81=20=D0=B4=D0=B0=D1=82=D0=B0=D0=BC=D0=B8=20=D0=B2?= =?UTF-8?q?=20DAG=20=D0=B8=20SQL?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- airflow/dags/bookings_to_gp_stage.py | 6 +----- sql/src/bookings_generate_day_if_missing.sql | 3 +-- 2 files changed, 2 insertions(+), 7 deletions(-) diff --git a/airflow/dags/bookings_to_gp_stage.py b/airflow/dags/bookings_to_gp_stage.py index 7d6a1b2..971efd4 100644 --- a/airflow/dags/bookings_to_gp_stage.py +++ b/airflow/dags/bookings_to_gp_stage.py @@ -12,11 +12,7 @@ from __future__ import annotations Каждый запуск DAG работает как «шаг по времени вперёд»: - генератор в демо-БД bookings добавляет следующий учебный день после max(book_date); - загрузка в Greenplum берёт все строки, появившиеся после предыдущих батчей; -- `batch_id` (через `ds_nodash`) помечает строки конкретного запуска. - -Логическая дата запуска DAG (`ds`) используется только как удобная метка -запуска (для `batch_id`, логов и DQ), но не управляет тем, за какие дни -генерируются и переливаются данные. +- логическая дата запуска (`ds`) используется как удобная метка запуска (через `ds_nodash` в `batch_id`, в логах и DQ). """ from datetime import datetime, timedelta diff --git a/sql/src/bookings_generate_day_if_missing.sql b/sql/src/bookings_generate_day_if_missing.sql index fed1b36..72dd8e8 100644 --- a/sql/src/bookings_generate_day_if_missing.sql +++ b/sql/src/bookings_generate_day_if_missing.sql @@ -1,8 +1,7 @@ -- Генерация учебного дня в демо-БД bookings. -- Этот скрипт всегда добавляет следующий учебный день после максимальной даты -- в таблице bookings.bookings (или несколько дней от стартовой даты, если база пуста). --- Логическая дата запуска DAG ({{ ds }}) здесь не используется для выбора дня — --- она служит только меткой батча и попадает в логи/стейдж. +-- Логическая дата запуска DAG ({{ ds }}) используется только как метка батча в стейдже. DO $$ DECLARE