Окружение для разработчика
This commit is contained in:
@@ -1,4 +1,4 @@
|
||||
# DE Starter Kit — Airflow + Greenplum + CSV
|
||||
# DE Starter Kit — Airflow + Greenplum + CSV
|
||||
|
||||
Добро пожаловать в учебный стенд для изучения основ Data Engineering! Этот проект поможет вам освоить ключевые инструменты современных data pipeline: **Airflow** для оркестрации, **pandas/CSV** для подготовки данных и **Greenplum** как аналитическую базу данных.
|
||||
|
||||
@@ -10,7 +10,27 @@
|
||||
- Как загружать данные в Greenplum пакетами и избегать дублей
|
||||
- Как проверять качество данных в автоматизированных pipeline
|
||||
- Основы проектирования ETL/ELT процессов
|
||||
## Локальное окружение разработчика
|
||||
|
||||
Локальным окружением управляет [uv](https://docs.astral.sh/uv/) — он скачивает нужный Python и создаёт `.venv` на основе `pyproject.toml` / `uv.lock`.
|
||||
|
||||
```bash
|
||||
uv python install 3.11 # один раз загружаем CPython 3.11
|
||||
uv python pin 3.11 # фиксируем версию для проекта (.python-version)
|
||||
uv sync # создаём .venv и ставим dev-зависимости
|
||||
```
|
||||
|
||||
Можно короче: `make dev-setup`. После изменения зависимостей запустите `uv sync` (или `make dev-sync`).
|
||||
|
||||
Проверки и форматирование выполняем через uv:
|
||||
|
||||
```bash
|
||||
make test # uv run pytest -q
|
||||
make lint # black/isort в режиме проверки
|
||||
make fmt # автоформатирование black + isort
|
||||
```
|
||||
|
||||
> Не устанавливайте пакеты напрямую через `pip install --user ...`. Если что-то уже попало в user-site, удалите `pip uninstall <package>` и проверьте `pip list --user`.
|
||||
---
|
||||
|
||||
## 🚀 Быстрый старт (для новичков)
|
||||
@@ -212,3 +232,4 @@ make logs # Следить за логами Airflow
|
||||
4. **Изучите Airflow deeper** — добавьте зависимости между задачами, настройте расписания
|
||||
|
||||
Удачи в изучении Data Engineering! 🚀
|
||||
|
||||
|
||||
Reference in New Issue
Block a user