Files

T

ddadmin dd6274b948 chore(todo): добавлены задачи по REST API и устойчивости bookings-db

- Зачем:
  - зафиксировать новые приоритеты по тестированию ETL и стабильности источника.
- Что:
  - добавлены два новых пункта в backlog мейнтейнеров в TODO.md.
  - уточнён статус файла, чтобы он отражал наличие открытых задач.
- Проверка:
  - git diff --cached -- TODO.md.

2026-03-02 22:40:31 +03:00

4.8 KiB

Raw Blame History

TODO (maintainers / mentors)

Этот файл собирает идеи по доработке стенда, которые не критичны для текущих задач менти, но улучшат стабильность и удобство сопровождения.

Статус: ниже есть как актуальные, так и уже выполненные пункты.

Сделать REST API Airflow основным способом тестирования ETL вместо CLI-вызовов через docker compose exec ... airflow ...:
- обновить TESTING.md, сместив фокус на REST API сценарии;
- оставить CLI как резервный вариант для локальной отладки;
- проверить, что шаги тестирования воспроизводимы без входа в контейнер Airflow.
Протестировать устойчивость bookings-db после остановки контейнеров:
- прогнать сценарии make stop -> make up и make down -> make up;
- зафиксировать, ломается ли генератор/данные в bookings-db;
- при необходимости добавить шаги восстановления и обновить документацию.
Собрать свой образ Airflow поверх apache/airflow:2.9.2:
- вынести установку Python‑зависимостей из runtime (pip install ... при старте контейнеров) в отдельный Dockerfile;
- переключить docker-compose.yml на использование этого образа для airflow-webserver, airflow-scheduler и airflow-init;
- обновить документацию (README/TESTING) под новую схему сборки.
Переключить Airflow с SequentialExecutor (SequentialScheduler) на LocalExecutor для docker‑стенда:
- проверить, какие параметры достаточно поменять в env/конфиге (AIRFLOW__CORE__EXECUTOR) для образа apache/airflow:2.9.2;
- убедиться, что примерные DAG’и (csv_to_greenplum, bookings_to_gp_stage) ведут себя предсказуемо в режиме параллельного исполнения;
- при необходимости скорректировать тесты и документацию (README/TESTING) с учётом нового executor’а.
Разобрать и стабилизировать интеграцию с Greenplum/PXF:
- убедиться, что PXF в контейнере greenplum всегда корректно инициализируется (нет ошибок вида protocol "pxf" does not exist при первом запуске make ddl-gp);
- при необходимости доработать init‑скрипты в pxf/init/ и/или документацию, чтобы порядок действий для ментей был однозначным и воспроизводимым;
- добавить краткий раздел в README/TESTING о типичных ошибках PXF/Greenplum и шагах по их устранению.
- диагностика текущего кейса: docs/internal/pxf_bookings.md (раздел «Известная проблема»).
Разобраться с генератором demodb:
- после make bookings-init таблица bookings.bookings остаётся пустой;
- патчи bookings/patches/engine_jobs1_sync.patch и bookings/patches/install_drop_if_exists.patch падают при применении (hunk failed / garbage in patch);
- из‑за этого DAG bookings_to_gp_stage валится на проверках (источник пустой).
- план: plans/bookings-demodb-bugfix-plan.md
Добавить раздел «Благодарности» в README.md:
- явно поблагодарить Postgres Pro за демо‑БД bookings (репозиторий postgrespro/demodb);
- указать автора Docker‑сборки Greenplum (woblerr/docker-greenplum, образ woblerr/greenplum);
- при необходимости сослаться на соответствующие лицензии/README исходных проектов.
Добавить в образ Airflow установку psql, чтобы тестировать загрузку CSV из CLI внутри контейнера (без root и дополнительных зависимостей на хосте).

4.8 KiB Raw Blame History Unescape Escape

TODO (maintainers / mentors)

4.8 KiB

Raw Blame History