ddadmin
9b1e853d99
docs(dwh): зафиксированы конвенции нейминга и обновлён план ODS
...
- Зачем:
- нужен единый стандарт именования полей, чтобы новые слои не расходились с учебными материалами.
- Что:
- добавлен единый документ с правилами нейминга `docs/internal/naming_conventions.md`.
- полностью переписан `docs/internal/bookings_ods_design.md` в эталонный учебный план ODS (SCD1, батч-контракт, DQ, граф DAG).
- добавлены ссылки на стандарт нейминга в `docs/README.md`, `docs/internal/db_schema.md` и `AGENTS.md`.
- Проверка:
- проверен diff по измененным файлам (`git diff`).
2026-02-28 22:13:06 +03:00
ddadmin
9e5ce91bcc
docs(internal): добавлен план реализации ODS слоя
...
- Зачем:
- зафиксировать архитектурное решение для ODS слоя перед началом разработки.
- Что:
- создан файл docs/internal/bookings_ods_design.md.
- описана архитектура ODS и отличия от STG слоя.
- добавлены схемы таблиц (справочники с SCD Type 2, транзакции с UPSERT).
- Проверка:
- git show --stat HEAD
2026-02-28 22:13:06 +03:00
ddadmin
3dcaeb85ce
Доводка стилистики документации
2026-02-28 22:12:22 +03:00
ddadmin
159ee99a32
Улучшение тестов
2026-02-28 22:12:22 +03:00
ddadmin
6ce7915806
Улучшение DQ проверки
2026-02-28 22:12:22 +03:00
ddadmin
31dde678c5
Улучшения комментариев
2026-02-28 22:12:22 +03:00
ddadmin
16e8a883b8
статусы задач
2026-02-28 22:12:22 +03:00
ddadmin
d4c91c4eec
Допустимость пустых данных по некоторым таблицам
2026-02-28 22:12:22 +03:00
ddadmin
bb83c831d2
Исправлены критические замечания
2026-02-28 22:12:22 +03:00
ddadmin
4b119fbd7c
Ревью решения
2026-02-28 22:12:22 +03:00
ddadmin
7abeb67fba
Генерация dds слоя по ТЗ - без тестов
2026-02-28 22:12:22 +03:00
ddadmin
ece3873f54
Финальные доработки
2026-02-28 22:12:22 +03:00
ddadmin
1812ced796
Доработки GLM
2026-02-28 22:12:22 +03:00
ddadmin
52031c75e6
доработки плана
2026-02-28 22:12:22 +03:00
ddadmin
941601a257
план витрин до stg слоя
2026-02-28 22:12:22 +03:00
ddadmin
5f3e32c031
Глубокая переработка документации
2026-01-09 18:48:18 +03:00
ddadmin
c3b2050cc4
еще баги и документирование сделанного
2026-01-09 12:41:36 +03:00
ddadmin
5668edeb7b
Диагностика проблемы
2026-01-09 00:33:45 +03:00
ddadmin
810d3d4727
дальшейшая отладка
2026-01-08 23:51:30 +03:00
ddadmin
573c853f15
фикс pxf
2026-01-08 23:34:26 +03:00
ddadmin
1efeb58449
диагностика проблемы с pxf
2026-01-08 23:14:53 +03:00
ddadmin
dfcc456120
Документирование решения
2026-01-08 22:24:24 +03:00
ddadmin
daed2313e7
Фикс создания connections
2025-12-10 22:58:19 +03:00
ddadmin
8fb78f9086
fix: добавленны airflow connections и обновлена структура запуска
2025-12-10 22:52:08 +03:00
ddadmin
29490828f4
Уход от запуска DAG за конкретную дату.
...
Теперь новый запуск генерирует и переливает новый, следующий день
2025-12-10 21:53:17 +03:00
ddadmin
c865fa282e
feat(dags): add ddl dag for gp and rename csv dq
2025-12-10 18:41:00 +03:00
ddadmin
cacf989a9c
вынесли sql из dag в папку sql
2025-12-10 16:59:50 +03:00
ddadmin
2c8f5c1e23
Учебный даг первоначально протестирован
2025-12-09 11:22:56 +03:00
ddadmin
196171e3d6
Склелет учебного даг
2025-12-09 10:43:43 +03:00
ddadmin
ae7f909f5d
Проработка задачи на ETL
2025-12-09 10:39:47 +03:00
ddadmin
c3d7759e6b
Переименование БД GP в gp_dwh
2025-12-09 10:09:46 +03:00
ddadmin
4515577b4a
Смена внешнего порта GreenPlum
2025-12-09 09:57:52 +03:00
ddadmin
86435c282d
Уточнения планов
2025-12-09 09:35:31 +03:00
ddadmin
dbd2406765
Планы по включению PXF для GP
2025-12-09 00:09:33 +03:00
ddadmin
b56ea952e7
Подключение bookings db заработало
2025-12-08 23:31:13 +03:00
ddadmin
c17baf447d
bookings debug
2025-12-08 22:08:07 +03:00
ddadmin
c95dab6478
Доработки по генерации БД - в процессе
2025-12-08 18:26:10 +03:00
ddadmin