ddmitry/airflow-greenplum
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

refactor(bookings): упростить работу с датами в DAG и SQL

Browse Source
This commit is contained in:
ddadmin
2025-12-10 21:56:12 +03:00
parent 29490828f4
commit 250af00b2f
2 changed files with 2 additions and 7 deletions
Download Patch File Download Diff File Expand all files Collapse all files
airflow/dags/bookings_to_gp_stage.py
+1 -5
View File
@@ -12,11 +12,7 @@ from __future__ import annotations
Каждый запуск DAG работает как «шаг по времени вперёд»: Каждый запуск DAG работает как «шаг по времени вперёд»:
- генератор в демо-БД bookings добавляет следующий учебный день после max(book_date); - генератор в демо-БД bookings добавляет следующий учебный день после max(book_date);
- загрузка в Greenplum берёт все строки, появившиеся после предыдущих батчей; - загрузка в Greenplum берёт все строки, появившиеся после предыдущих батчей;
- `batch_id` (через `ds_nodash`) помечает строки конкретного запуска. - логическая дата запуска (`ds`) используется как удобная метка запуска (через `ds_nodash` в `batch_id`, в логах и DQ).
Логическая дата запуска DAG (`ds`) используется только как удобная метка
запуска (для `batch_id`, логов и DQ), но не управляет тем, за какие дни
генерируются и переливаются данные.
""" """
from datetime import datetime, timedelta from datetime import datetime, timedelta
sql/src/bookings_generate_day_if_missing.sql
+1 -2
View File
@@ -1,8 +1,7 @@
-- Генерация учебного дня в демо-БД bookings. -- Генерация учебного дня в демо-БД bookings.
-- Этот скрипт всегда добавляет следующий учебный день после максимальной даты -- Этот скрипт всегда добавляет следующий учебный день после максимальной даты
-- в таблице bookings.bookings (или несколько дней от стартовой даты, если база пуста). -- в таблице bookings.bookings (или несколько дней от стартовой даты, если база пуста).
-- Логическая дата запуска DAG ({{ ds }}) здесь не используется для выбора дня — -- Логическая дата запуска DAG ({{ ds }}) используется только как метка батча в стейдже.
-- она служит только меткой батча и попадает в логи/стейдж.
DO $$ DO $$
DECLARE DECLARE