refactor(bookings): упростить работу с датами в DAG и SQL
This commit is contained in:
@@ -12,11 +12,7 @@ from __future__ import annotations
|
||||
Каждый запуск DAG работает как «шаг по времени вперёд»:
|
||||
- генератор в демо-БД bookings добавляет следующий учебный день после max(book_date);
|
||||
- загрузка в Greenplum берёт все строки, появившиеся после предыдущих батчей;
|
||||
- `batch_id` (через `ds_nodash`) помечает строки конкретного запуска.
|
||||
|
||||
Логическая дата запуска DAG (`ds`) используется только как удобная метка
|
||||
запуска (для `batch_id`, логов и DQ), но не управляет тем, за какие дни
|
||||
генерируются и переливаются данные.
|
||||
- логическая дата запуска (`ds`) используется как удобная метка запуска (через `ds_nodash` в `batch_id`, в логах и DQ).
|
||||
"""
|
||||
|
||||
from datetime import datetime, timedelta
|
||||
|
||||
@@ -1,8 +1,7 @@
|
||||
-- Генерация учебного дня в демо-БД bookings.
|
||||
-- Этот скрипт всегда добавляет следующий учебный день после максимальной даты
|
||||
-- в таблице bookings.bookings (или несколько дней от стартовой даты, если база пуста).
|
||||
-- Логическая дата запуска DAG ({{ ds }}) здесь не используется для выбора дня —
|
||||
-- она служит только меткой батча и попадает в логи/стейдж.
|
||||
-- Логическая дата запуска DAG ({{ ds }}) используется только как метка батча в стейдже.
|
||||
|
||||
DO $$
|
||||
DECLARE
|
||||
|
||||
Reference in New Issue
Block a user