32 lines
2.7 KiB
Markdown
32 lines
2.7 KiB
Markdown
# TODO (maintainers / mentors)
|
||
|
||
Этот файл собирает идеи по доработке стенда, которые не критичны для текущих задач менти,
|
||
но улучшат стабильность и удобство сопровождения.
|
||
|
||
- Собрать свой образ Airflow поверх `apache/airflow:2.9.2`:
|
||
- вынести установку Python‑зависимостей из runtime (`pip install ...` при старте контейнеров)
|
||
в отдельный `Dockerfile`;
|
||
- переключить `docker-compose.yml` на использование этого образа для `airflow-webserver`,
|
||
`airflow-scheduler` и `airflow-init`;
|
||
- обновить документацию (README/TESTING) под новую схему сборки.
|
||
|
||
- Переключить Airflow с `SequentialExecutor` (SequentialScheduler) на `LocalExecutor`
|
||
для docker‑стенда:
|
||
- проверить, какие параметры достаточно поменять в env/конфиге (`AIRFLOW__CORE__EXECUTOR`)
|
||
для образа `apache/airflow:2.9.2`;
|
||
- убедиться, что примерные DAG’и (`csv_to_greenplum`, `bookings_to_gp_stage`) ведут себя
|
||
предсказуемо в режиме параллельного исполнения;
|
||
- при необходимости скорректировать тесты и документацию (README/TESTING) с учётом нового executor’а.
|
||
|
||
- Разобрать и стабилизировать интеграцию с Greenplum/PXF:
|
||
- убедиться, что PXF в контейнере `greenplum` всегда корректно инициализируется
|
||
(нет ошибок вида `protocol "pxf" does not exist` при первом запуске `make ddl-gp`);
|
||
- при необходимости доработать init‑скрипты в `pxf/init/` и/или документацию,
|
||
чтобы порядок действий для ментей был однозначным и воспроизводимым;
|
||
- добавить краткий раздел в README/TESTING о типичных ошибках PXF/Greenplum и шагах по их устранению.
|
||
|
||
- Добавить раздел «Благодарности» в `README.md`:
|
||
- явно поблагодарить Postgres Pro за демо‑БД bookings (репозиторий `postgrespro/demodb`);
|
||
- указать автора Docker‑сборки Greenplum (`woblerr/docker-greenplum`, образ `woblerr/greenplum`);
|
||
- при необходимости сослаться на соответствующие лицензии/README исходных проектов.
|