ddadmin and Claude Opus 4.6
69651f98ff
refactor(dags): параллелизован граф DAG bookings_to_gp_stage
...
- Зачем:
- линейный граф маскировал реальные зависимости данных; для эталонного
стенда важно показать менти параллельный граф там, где данные независимы.
- Что:
- airports и airplanes грузятся параллельно после check_tickets_dq.
- routes ждёт обоих (DQ проверяет ссылочную целостность на оба справочника).
- seats зависит только от airplanes и работает параллельно с веткой
routes → flights → segments → boarding_passes.
- finish_summary ждёт обе ветки (check_boarding_passes_dq + check_seats_dq).
- datetime.utcnow() заменён на datetime.now(UTC) в csv_to_greenplum.py.
- smoke-тесты дополнены проверкой параллельности и второй ветки.
- документация обновлена с ASCII-схемой нового графа.
- Проверка:
- make test (11 passed, 4 skipped), make lint — чисто.
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com >
2026-02-22 20:19:58 +03:00
ddadmin
a0258fd63e
Доводка стилистики документации
2026-01-18 22:52:49 +03:00
ddadmin
9e08bc181c
Улучшение тестов
2026-01-18 22:32:57 +03:00
ddadmin
843500cf52
Улучшение DQ проверки
2026-01-18 22:24:06 +03:00
ddadmin
e5a9a07f01
Улучшения комментариев
2026-01-18 21:56:17 +03:00
ddadmin
761cf5dd93
статусы задач
2026-01-18 21:53:28 +03:00
ddadmin
8946df4a28
Допустимость пустых данных по некоторым таблицам
2026-01-18 21:48:47 +03:00
ddadmin
ba74b521dc
Исправлены критические замечания
2026-01-18 21:33:46 +03:00
ddadmin
762d539d52
Ревью решения
2026-01-18 21:22:00 +03:00
ddadmin
4718b3bdb7
Отладка потоков
2026-01-18 13:47:09 +03:00
ddadmin
9c033b39aa
Генерация dds слоя по ТЗ - без тестов
2026-01-18 11:04:46 +03:00
ddadmin
15081384f4
Замечания от codex
2026-01-18 10:37:59 +03:00
ddadmin
457b47e415
план работ by glm
2026-01-17 23:53:20 +03:00
ddadmin
d525cf56c4
Финальные доработки
2026-01-17 23:19:37 +03:00
ddadmin
520eacbfe2
Доработки GLM
2026-01-17 23:14:49 +03:00
ddadmin
fec67dfad2
доработки плана
2026-01-17 22:41:25 +03:00
ddadmin
10a36b6dfb
план витрин до stg слоя
2026-01-17 22:27:05 +03:00
ddadmin
9ec7e82f5f
Полировка кода
2026-01-17 21:43:02 +03:00
ddadmin
f36a98497a
Проверка/рецензирование доработки
2026-01-17 19:36:02 +03:00
ddadmin
93ba59c1c9
актуализация "что делали"
2026-01-17 19:11:10 +03:00
ddadmin
875746972c
Отладка
2026-01-17 15:47:59 +03:00
ddadmin
464e631eea
Первая версия dag
2026-01-17 15:09:08 +03:00
ddadmin
0208e6fd71
План работ
2026-01-17 15:05:11 +03:00
ddadmin
23581b4f4a
Вынесена настройка портов всех сервисов
2026-01-09 20:48:25 +03:00
ddadmin
61103847aa
Полировка документации
2026-01-09 20:48:05 +03:00
ddadmin
cf1438fceb
Merge branch 'docs/main-docs'
2026-01-09 19:46:54 +03:00
ddadmin
2d76789050
мелкие правки
2026-01-09 19:39:42 +03:00
ddadmin
5f3e32c031
Глубокая переработка документации
2026-01-09 18:48:18 +03:00
ddadmin
16da5d0aae
Улучшение документации - подчистили старые задачи
2026-01-09 18:04:29 +03:00
ddadmin
db0e0259d6
Переход на LocalExecutor в AirFlow
2026-01-09 17:48:41 +03:00
ddadmin
991af3b2c3
Переход на LocalExecutor
2026-01-09 17:48:17 +03:00
ddadmin
ff831b6bb2
Фикс DAG загрузки данных - построение дельты
2026-01-09 14:51:21 +03:00
ddadmin
5c3723a8c1
Merge branch 'fix/greenplum-pxf'
2026-01-09 14:03:57 +03:00
ddadmin
272013774b
Сохранение логов airflow между перезапусками
2026-01-09 13:37:14 +03:00
ddadmin
c3b2050cc4
еще баги и документирование сделанного
2026-01-09 12:41:36 +03:00
ddadmin
5668edeb7b
Диагностика проблемы
2026-01-09 00:33:45 +03:00
ddadmin
810d3d4727
дальшейшая отладка
2026-01-08 23:51:30 +03:00
ddadmin
573c853f15
фикс pxf
2026-01-08 23:34:26 +03:00
ddadmin
1efeb58449
диагностика проблемы с pxf
2026-01-08 23:14:53 +03:00
ddadmin
f81a831c0c
патч
2026-01-08 22:52:56 +03:00
ddadmin
4751674ef3
планы по доработке
2026-01-08 22:41:11 +03:00
ddadmin
dfcc456120
Документирование решения
2026-01-08 22:24:24 +03:00
ddadmin
5778ad6601
фикс бага pxf
2026-01-08 22:02:57 +03:00
ddadmin
33fc42f883
Merge branch 'chore/airflow-dockerfile'
2026-01-06 23:31:27 +03:00
ddadmin
1173e0e53f
Отладка airflow dockerfile
2026-01-06 23:20:41 +03:00
ddadmin
e27476fa5f
Раздел "Благодарности"
2026-01-06 15:01:26 +03:00
ddadmin
4cb11b4769
feat: use custom docker image for airflow to avoid runtime pip install
2025-12-13 22:21:41 +03:00
ddadmin
9f028d0728
Доработки по full smoke тесту
2025-12-11 11:09:05 +03:00
ddadmin
0d81096ded
полный smoke тест стенда
2025-12-11 10:51:39 +03:00
ddadmin
31171f84bc
Баг генерации bookings
2025-12-11 10:34:16 +03:00
ddadminandClaude Opus 4.6