feat(airflow): добавлен пульт управления генератором

ddmitry/clickstream-ch-kafka-superset-demo

- Зачем:
  - нужен основной ручной интерфейс стенда для backfill/import/check без консольной матрицы переменных.
- Что:
  - добавлен DAG generator_control с параметрами Airflow, ветвлением операций и ожиданием ETL.
  - вынесена общая логика запуска и предпроверок генератора для Airflow.
  - обновлены compose-настройки, зависимости, тесты и документация по пульту.
- Проверка:
  - uv run --with pytest --with-requirements generator/requirements.txt pytest generator/tests -q.
  - docker compose config --quiet.

This commit is contained in:

ddadmin

2026-07-04 21:06:30 +03:00

parent c672ed0329

commit dd4af822d2

12 changed files with 841 additions and 13 deletions

generator/requirements.txt

+1 -1

View File

@@ -1,5 +1,5 @@
 # Kafka клиент
 kafka-python==2.0.5
 kafka-python==2.0.6
 # Prometheus метрики
 prometheus-client==0.21.1