ddmitry/clickstream-ch-kafka-superset-demo
1
0
Fork 0
Code Issues 1 Pull Requests Actions Packages Projects Releases Wiki Activity

feat(airflow): добавлен пульт управления генератором

Browse Source 
- Зачем:
  - нужен основной ручной интерфейс стенда для backfill/import/check без консольной матрицы переменных.
- Что:
  - добавлен DAG generator_control с параметрами Airflow, ветвлением операций и ожиданием ETL.
  - вынесена общая логика запуска и предпроверок генератора для Airflow.
  - обновлены compose-настройки, зависимости, тесты и документация по пульту.
- Проверка:
  - uv run --with pytest --with-requirements generator/requirements.txt pytest generator/tests -q.
  - docker compose config --quiet.
This commit is contained in:
ddadmin
2026-07-04 21:06:30 +03:00
parent c672ed0329
commit dd4af822d2
12 changed files with 841 additions and 13 deletions
Download Patch File Download Diff File Expand all files Collapse all files
airflow/requirements.txt
+4 -1
View File
@@ -6,5 +6,8 @@ psycopg2-binary==2.9.9
# ClickHouse operator/hook для DAG'ов
airflow-clickhouse-plugin==1.6.0
# Kafka client для загрузки данных (DAG kafka_load)
# Kafka client для загрузки данных и пульта генератора
kafka-python==2.0.6
# Метрики импортируются кодом генератора; HTTP-сервер в Airflow-задачах выключен
prometheus-client==0.21.1