refactor(csv): удален легаси CSV-пайплайн и связанные с ним файлы
- Зачем: - Пример базовой загрузки CSV перенесен в отдельный репозиторий `airflow-manual` для разделения учебных треков. - Что: - удалены DAG-файлы `csv_to_greenplum` и вспомогательные скрипты `helpers/greenplum.py`, `orders_ddl.sql`. - из `docker-compose.yml` и `.env.example` удалены переменные и тома (`airflow_data`), необходимые для CSV. - очищена документация (`README.md`, `TESTING.md`, `educational-tasks.md`) и тесты (`test_dags_smoke.py`, `conftest.py`). - отмечен выполненным 'Этап 1' в `TODO.md`. - Проверка: - `make test` проходит успешно (smoke-тесты оставшихся DAG-ов не затронуты).
This commit is contained in:
@@ -22,7 +22,6 @@
|
||||
- **Greenplum** (single‑node для обучения; внешний порт по умолчанию `5435`)
|
||||
- **bookings-db** (Postgres с демо‑БД `demo`; внешний порт по умолчанию `5434`)
|
||||
- **PXF** как “транспорт” между Postgres и Greenplum (уже настроен в образе)
|
||||
- Побочный пример: загрузка данных через **pandas/CSV** (`csv_to_greenplum`)
|
||||
|
||||
## Требования
|
||||
|
||||
@@ -104,12 +103,6 @@ SELECT COUNT(*) FROM dds.fact_flight_sales;
|
||||
- `bookings_dds_ddl` — создаёт/обновляет DDS-таблицы (`dim_*`, `fact_flight_sales`) по домену bookings.
|
||||
- `bookings_to_gp_dds` — загружает данные из ODS в DDS (SCD1/SCD2 + факт) и выполняет DQ‑проверки.
|
||||
|
||||
Вспомогательные (побочный трек с CSV):
|
||||
|
||||
- `orders_base_ddl` — создаёт таблицу `public.orders` для CSV‑пайплайна;
|
||||
- `csv_to_greenplum` — pandas → CSV → Greenplum (пример загрузки без источника‑БД);
|
||||
- `csv_to_greenplum_dq` — проверки качества данных для `public.orders`.
|
||||
|
||||
## Полезные команды
|
||||
|
||||
```bash
|
||||
|
||||
Reference in New Issue
Block a user