ddadmin
6ceff7b027
docs(dwh): зафиксированы конвенции нейминга и обновлён план ODS
...
- Зачем:
- нужен единый стандарт именования полей, чтобы новые слои не расходились с учебными материалами.
- Что:
- добавлен единый документ с правилами нейминга `docs/internal/naming_conventions.md`.
- полностью переписан `docs/internal/bookings_ods_design.md` в эталонный учебный план ODS (SCD1, батч-контракт, DQ, граф DAG).
- добавлены ссылки на стандарт нейминга в `docs/README.md`, `docs/internal/db_schema.md` и `AGENTS.md`.
- Проверка:
- проверен diff по измененным файлам (`git diff`).
2026-02-22 22:45:53 +03:00
ddadmin
d1e81099c7
docs(internal): добавлен план реализации ODS слоя
...
- Зачем:
- зафиксировать архитектурное решение для ODS слоя перед началом разработки.
- Что:
- создан файл docs/internal/bookings_ods_design.md.
- описана архитектура ODS и отличия от STG слоя.
- добавлены схемы таблиц (справочники с SCD Type 2, транзакции с UPSERT).
- Проверка:
- git show --stat HEAD
2026-02-22 21:31:14 +03:00
ddadmin
a0258fd63e
Доводка стилистики документации
2026-01-18 22:52:49 +03:00
ddadmin
9e08bc181c
Улучшение тестов
2026-01-18 22:32:57 +03:00
ddadmin
843500cf52
Улучшение DQ проверки
2026-01-18 22:24:06 +03:00
ddadmin
e5a9a07f01
Улучшения комментариев
2026-01-18 21:56:17 +03:00
ddadmin
761cf5dd93
статусы задач
2026-01-18 21:53:28 +03:00
ddadmin
8946df4a28
Допустимость пустых данных по некоторым таблицам
2026-01-18 21:48:47 +03:00
ddadmin
ba74b521dc
Исправлены критические замечания
2026-01-18 21:33:46 +03:00
ddadmin
762d539d52
Ревью решения
2026-01-18 21:22:00 +03:00
ddadmin
9c033b39aa
Генерация dds слоя по ТЗ - без тестов
2026-01-18 11:04:46 +03:00
ddadmin
d525cf56c4
Финальные доработки
2026-01-17 23:19:37 +03:00
ddadmin
520eacbfe2
Доработки GLM
2026-01-17 23:14:49 +03:00
ddadmin
fec67dfad2
доработки плана
2026-01-17 22:41:25 +03:00
ddadmin
10a36b6dfb
план витрин до stg слоя
2026-01-17 22:27:05 +03:00
ddadmin
5f3e32c031
Глубокая переработка документации
2026-01-09 18:48:18 +03:00
ddadmin
c3b2050cc4
еще баги и документирование сделанного
2026-01-09 12:41:36 +03:00
ddadmin
5668edeb7b
Диагностика проблемы
2026-01-09 00:33:45 +03:00
ddadmin
810d3d4727
дальшейшая отладка
2026-01-08 23:51:30 +03:00
ddadmin
573c853f15
фикс pxf
2026-01-08 23:34:26 +03:00
ddadmin
1efeb58449
диагностика проблемы с pxf
2026-01-08 23:14:53 +03:00
ddadmin
dfcc456120
Документирование решения
2026-01-08 22:24:24 +03:00
ddadmin
daed2313e7
Фикс создания connections
2025-12-10 22:58:19 +03:00
ddadmin
8fb78f9086
fix: добавленны airflow connections и обновлена структура запуска
2025-12-10 22:52:08 +03:00
ddadmin
29490828f4
Уход от запуска DAG за конкретную дату.
...
Теперь новый запуск генерирует и переливает новый, следующий день
2025-12-10 21:53:17 +03:00
ddadmin
c865fa282e
feat(dags): add ddl dag for gp and rename csv dq
2025-12-10 18:41:00 +03:00
ddadmin
cacf989a9c
вынесли sql из dag в папку sql
2025-12-10 16:59:50 +03:00
ddadmin
2c8f5c1e23
Учебный даг первоначально протестирован
2025-12-09 11:22:56 +03:00
ddadmin
196171e3d6
Склелет учебного даг
2025-12-09 10:43:43 +03:00
ddadmin
ae7f909f5d
Проработка задачи на ETL
2025-12-09 10:39:47 +03:00
ddadmin
c3d7759e6b
Переименование БД GP в gp_dwh
2025-12-09 10:09:46 +03:00
ddadmin
4515577b4a
Смена внешнего порта GreenPlum
2025-12-09 09:57:52 +03:00
ddadmin
86435c282d
Уточнения планов
2025-12-09 09:35:31 +03:00
ddadmin
dbd2406765
Планы по включению PXF для GP
2025-12-09 00:09:33 +03:00
ddadmin
b56ea952e7
Подключение bookings db заработало
2025-12-08 23:31:13 +03:00
ddadmin
c17baf447d
bookings debug
2025-12-08 22:08:07 +03:00
ddadmin
c95dab6478
Доработки по генерации БД - в процессе
2025-12-08 18:26:10 +03:00
ddadmin