Окружение для разработчика

This commit is contained in:
2025-10-15 10:25:35 +03:00
parent 772804bda0
commit a336682ed2
9 changed files with 2386 additions and 1 deletions
+22 -1
View File
@@ -1,4 +1,4 @@
# DE Starter Kit — Airflow + Greenplum + CSV
# DE Starter Kit — Airflow + Greenplum + CSV
Добро пожаловать в учебный стенд для изучения основ Data Engineering! Этот проект поможет вам освоить ключевые инструменты современных data pipeline: **Airflow** для оркестрации, **pandas/CSV** для подготовки данных и **Greenplum** как аналитическую базу данных.
@@ -10,7 +10,27 @@
- Как загружать данные в Greenplum пакетами и избегать дублей
- Как проверять качество данных в автоматизированных pipeline
- Основы проектирования ETL/ELT процессов
## Локальное окружение разработчика
Локальным окружением управляет [uv](https://docs.astral.sh/uv/) — он скачивает нужный Python и создаёт `.venv` на основе `pyproject.toml` / `uv.lock`.
```bash
uv python install 3.11 # один раз загружаем CPython 3.11
uv python pin 3.11 # фиксируем версию для проекта (.python-version)
uv sync # создаём .venv и ставим dev-зависимости
```
Можно короче: `make dev-setup`. После изменения зависимостей запустите `uv sync` (или `make dev-sync`).
Проверки и форматирование выполняем через uv:
```bash
make test # uv run pytest -q
make lint # black/isort в режиме проверки
make fmt # автоформатирование black + isort
```
> Не устанавливайте пакеты напрямую через `pip install --user ...`. Если что-то уже попало в user-site, удалите `pip uninstall <package>` и проверьте `pip list --user`.
---
## 🚀 Быстрый старт (для новичков)
@@ -212,3 +232,4 @@ make logs # Следить за логами Airflow
4. **Изучите Airflow deeper** — добавьте зависимости между задачами, настройте расписания
Удачи в изучении Data Engineering! 🚀