refactor(csv): удален легаси CSV-пайплайн и связанные с ним файлы
- Зачем: - Пример базовой загрузки CSV перенесен в отдельный репозиторий `airflow-manual` для разделения учебных треков. - Что: - удалены DAG-файлы `csv_to_greenplum` и вспомогательные скрипты `helpers/greenplum.py`, `orders_ddl.sql`. - из `docker-compose.yml` и `.env.example` удалены переменные и тома (`airflow_data`), необходимые для CSV. - очищена документация (`README.md`, `TESTING.md`, `educational-tasks.md`) и тесты (`test_dags_smoke.py`, `conftest.py`). - отмечен выполненным 'Этап 1' в `TODO.md`. - Проверка: - `make test` проходит успешно (smoke-тесты оставшихся DAG-ов не затронуты).
This commit is contained in:
@@ -16,11 +16,11 @@
|
||||
|
||||
**Инструмент:** Sonnet / Gemini / ChatGPT — механическая работа, перенос файлов.
|
||||
|
||||
- [ ] Перенести в [airflow-manual](https://github.com/dementev-dev/airflow-manual):
|
||||
- [x] Перенести в [airflow-manual](https://github.com/dementev-dev/airflow-manual):
|
||||
`csv_to_greenplum.py`, `csv_to_greenplum_dq.py`, `ddl_greenplum_base.py`,
|
||||
`helpers/greenplum.py`, `sql/base/orders_ddl.sql`, связанные тесты
|
||||
- [ ] Убрать CSV-зависимости из docker-compose / .env (`CSV_DIR`, `CSV_ROWS`)
|
||||
- [ ] Обновить README (убрать упоминания CSV-пайплайна)
|
||||
- [x] Убрать CSV-зависимости из docker-compose / .env (`CSV_DIR`, `CSV_ROWS`)
|
||||
- [x] Обновить README (убрать упоминания CSV-пайплайна)
|
||||
|
||||
### Этап 1.5. Полировка эталона
|
||||
|
||||
|
||||
Reference in New Issue
Block a user