ddadmin and Claude Opus 4.6
69651f98ff
refactor(dags): параллелизован граф DAG bookings_to_gp_stage
...
- Зачем:
- линейный граф маскировал реальные зависимости данных; для эталонного
стенда важно показать менти параллельный граф там, где данные независимы.
- Что:
- airports и airplanes грузятся параллельно после check_tickets_dq.
- routes ждёт обоих (DQ проверяет ссылочную целостность на оба справочника).
- seats зависит только от airplanes и работает параллельно с веткой
routes → flights → segments → boarding_passes.
- finish_summary ждёт обе ветки (check_boarding_passes_dq + check_seats_dq).
- datetime.utcnow() заменён на datetime.now(UTC) в csv_to_greenplum.py.
- smoke-тесты дополнены проверкой параллельности и второй ветки.
- документация обновлена с ASCII-схемой нового графа.
- Проверка:
- make test (11 passed, 4 skipped), make lint — чисто.
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com >
2026-02-22 20:19:58 +03:00
ddadmin
a0258fd63e
Доводка стилистики документации
2026-01-18 22:52:49 +03:00
ddadmin
9e08bc181c
Улучшение тестов
2026-01-18 22:32:57 +03:00
ddadmin
843500cf52
Улучшение DQ проверки
2026-01-18 22:24:06 +03:00
ddadmin
e5a9a07f01
Улучшения комментариев
2026-01-18 21:56:17 +03:00
ddadmin
761cf5dd93
статусы задач
2026-01-18 21:53:28 +03:00
ddadmin
8946df4a28
Допустимость пустых данных по некоторым таблицам
2026-01-18 21:48:47 +03:00
ddadmin
ba74b521dc
Исправлены критические замечания
2026-01-18 21:33:46 +03:00
ddadmin
762d539d52
Ревью решения
2026-01-18 21:22:00 +03:00
ddadmin
9c033b39aa
Генерация dds слоя по ТЗ - без тестов
2026-01-18 11:04:46 +03:00
ddadmin
d525cf56c4
Финальные доработки
2026-01-17 23:19:37 +03:00
ddadmin
520eacbfe2
Доработки GLM
2026-01-17 23:14:49 +03:00
ddadmin
fec67dfad2
доработки плана
2026-01-17 22:41:25 +03:00
ddadmin
10a36b6dfb
план витрин до stg слоя
2026-01-17 22:27:05 +03:00
ddadmin
f36a98497a
Проверка/рецензирование доработки
2026-01-17 19:36:02 +03:00
ddadmin
93ba59c1c9
актуализация "что делали"
2026-01-17 19:11:10 +03:00
ddadmin
0208e6fd71
План работ
2026-01-17 15:05:11 +03:00
ddadmin
61103847aa
Полировка документации
2026-01-09 20:48:05 +03:00
ddadmin
5f3e32c031
Глубокая переработка документации
2026-01-09 18:48:18 +03:00
ddadmin
c3b2050cc4
еще баги и документирование сделанного
2026-01-09 12:41:36 +03:00
ddadmin
5668edeb7b
Диагностика проблемы
2026-01-09 00:33:45 +03:00
ddadmin
810d3d4727
дальшейшая отладка
2026-01-08 23:51:30 +03:00
ddadmin
573c853f15
фикс pxf
2026-01-08 23:34:26 +03:00
ddadmin
1efeb58449
диагностика проблемы с pxf
2026-01-08 23:14:53 +03:00
ddadmin
dfcc456120
Документирование решения
2026-01-08 22:24:24 +03:00
ddadmin
daed2313e7
Фикс создания connections
2025-12-10 22:58:19 +03:00
ddadmin
8fb78f9086
fix: добавленны airflow connections и обновлена структура запуска
2025-12-10 22:52:08 +03:00
ddadmin
29490828f4
Уход от запуска DAG за конкретную дату.
...
Теперь новый запуск генерирует и переливает новый, следующий день
2025-12-10 21:53:17 +03:00
ddadmin
c865fa282e
feat(dags): add ddl dag for gp and rename csv dq
2025-12-10 18:41:00 +03:00
ddadmin
cacf989a9c
вынесли sql из dag в папку sql
2025-12-10 16:59:50 +03:00
ddadmin
2c8f5c1e23
Учебный даг первоначально протестирован
2025-12-09 11:22:56 +03:00
ddadmin
196171e3d6
Склелет учебного даг
2025-12-09 10:43:43 +03:00
ddadmin
ae7f909f5d
Проработка задачи на ETL
2025-12-09 10:39:47 +03:00
ddadmin
c3d7759e6b
Переименование БД GP в gp_dwh
2025-12-09 10:09:46 +03:00
ddadmin
4515577b4a
Смена внешнего порта GreenPlum
2025-12-09 09:57:52 +03:00
ddadmin
86435c282d
Уточнения планов
2025-12-09 09:35:31 +03:00
ddadmin
dbd2406765
Планы по включению PXF для GP
2025-12-09 00:09:33 +03:00
ddadmin
b56ea952e7
Подключение bookings db заработало
2025-12-08 23:31:13 +03:00
ddadmin
c17baf447d
bookings debug
2025-12-08 22:08:07 +03:00
ddadmin
c95dab6478
Доработки по генерации БД - в процессе
2025-12-08 18:26:10 +03:00
ddadminandClaude Opus 4.6