ddadmin
03765d2808
feat(ods): реализован ODS слой и DAG загрузки из STG
...
- Зачем:
- подготовлена учебная реализация ODS слоя с типизацией, UPSERT и DQ, чтобы продолжить работу от STG к DDS/DM.
- Что:
- добавлены SQL-скрипты `sql/ods/*_ddl.sql`, `sql/ods/*_load.sql`, `sql/ods/*_dq.sql` для 9 сущностей bookings.
- добавлены DAG `bookings_ods_ddl` и `bookings_to_gp_ods`, а также smoke-тесты для новых графов.
- ODS DDL интегрирован в `sql/ddl_gp.sql`; документация и план обновлены под единый запуск через `make ddl-gp`.
- Проверка:
- `make test`.
- `make ddl-gp`.
2026-02-23 01:51:40 +03:00
ddadmin
a0258fd63e
Доводка стилистики документации
2026-01-18 22:52:49 +03:00
ddadmin
843500cf52
Улучшение DQ проверки
2026-01-18 22:24:06 +03:00
ddadmin
e5a9a07f01
Улучшения комментариев
2026-01-18 21:56:17 +03:00
ddadmin
8946df4a28
Допустимость пустых данных по некоторым таблицам
2026-01-18 21:48:47 +03:00
ddadmin
ba74b521dc
Исправлены критические замечания
2026-01-18 21:33:46 +03:00
ddadmin
4718b3bdb7
Отладка потоков
2026-01-18 13:47:09 +03:00
ddadmin
9c033b39aa
Генерация dds слоя по ТЗ - без тестов
2026-01-18 11:04:46 +03:00
ddadmin
9ec7e82f5f
Полировка кода
2026-01-17 21:43:02 +03:00
ddadmin
f36a98497a
Проверка/рецензирование доработки
2026-01-17 19:36:02 +03:00
ddadmin
875746972c
Отладка
2026-01-17 15:47:59 +03:00
ddadmin
464e631eea
Первая версия dag
2026-01-17 15:09:08 +03:00
ddadmin
5f3e32c031
Глубокая переработка документации
2026-01-09 18:48:18 +03:00
ddadmin
ff831b6bb2
Фикс DAG загрузки данных - построение дельты
2026-01-09 14:51:21 +03:00
ddadmin
31171f84bc
Баг генерации bookings
2025-12-11 10:34:16 +03:00
ddadmin
342f9bdb62
даг наконец-то работает
2025-12-10 23:49:01 +03:00
ddadmin
250af00b2f
refactor(bookings): упростить работу с датами в DAG и SQL
2025-12-10 21:56:12 +03:00
ddadmin
29490828f4
Уход от запуска DAG за конкретную дату.
...
Теперь новый запуск генерирует и переливает новый, следующий день
2025-12-10 21:53:17 +03:00
ddadmin
c865fa282e
feat(dags): add ddl dag for gp and rename csv dq
2025-12-10 18:41:00 +03:00
ddadmin
cf95cf95d2
пояснения назначения файла
2025-12-10 17:36:38 +03:00
ddadmin
cacf989a9c
вынесли sql из dag в папку sql
2025-12-10 16:59:50 +03:00
ddadmin
2c8f5c1e23
Учебный даг первоначально протестирован
2025-12-09 11:22:56 +03:00
ddadmin
2bdeb17cee
Тестирование PXF
2025-12-09 09:52:50 +03:00
ddadmin
e3b0fd9ef9
Первоначальная реализация PXF (не тестировано)
2025-12-09 09:42:52 +03:00
ddadmin
0dffd5df20
Первая публикация кода
2025-10-17 19:16:15 +03:00
ddadmin