feat(airflow): добавлен пульт управления генератором
- Зачем: - нужен основной ручной интерфейс стенда для backfill/import/check без консольной матрицы переменных. - Что: - добавлен DAG generator_control с параметрами Airflow, ветвлением операций и ожиданием ETL. - вынесена общая логика запуска и предпроверок генератора для Airflow. - обновлены compose-настройки, зависимости, тесты и документация по пульту. - Проверка: - uv run --with pytest --with-requirements generator/requirements.txt pytest generator/tests -q. - docker compose config --quiet.
This commit is contained in:
@@ -28,13 +28,22 @@
|
||||
|
||||
## Быстрый старт
|
||||
|
||||
Штатный чистый запуск строит аналитику из стартовой истории генератора. Команда
|
||||
очищает volumes ClickHouse и Kafka, создаёт стартовую историю, доводит её до DM и
|
||||
проверяет Superset metadata.
|
||||
Для ручной работы поднимите стенд и создайте стартовую историю через Airflow:
|
||||
|
||||
```bash
|
||||
make up
|
||||
docker compose ps
|
||||
```
|
||||
|
||||
Откройте Airflow: `http://localhost:8080` (`admin/admin`). Запустите
|
||||
`generator_control` с операцией `backfill`: DAG создаст стартовую историю,
|
||||
запустит ETL и выполнит `check`. `make up` не запускает live-генератор; live
|
||||
включается отдельно командой `make generator-continue`.
|
||||
|
||||
Для полностью автоматического чистого прогона из консоли остаётся команда:
|
||||
|
||||
```bash
|
||||
make generated-history-analytics
|
||||
docker compose ps
|
||||
```
|
||||
|
||||
По умолчанию это быстрый профиль `ci`: 6 часов модельного времени. Историю на
|
||||
|
||||
Reference in New Issue
Block a user