ddadmin
dd4af822d2
- Зачем: - нужен основной ручной интерфейс стенда для backfill/import/check без консольной матрицы переменных. - Что: - добавлен DAG generator_control с параметрами Airflow, ветвлением операций и ожиданием ETL. - вынесена общая логика запуска и предпроверок генератора для Airflow. - обновлены compose-настройки, зависимости, тесты и документация по пульту. - Проверка: - uv run --with pytest --with-requirements generator/requirements.txt pytest generator/tests -q. - docker compose config --quiet.
14 lines
471 B
Plaintext
14 lines
471 B
Plaintext
# Airflow requirements для учебного ETL-проекта
|
|
|
|
# Metadata DB для Airflow
|
|
psycopg2-binary==2.9.9
|
|
|
|
# ClickHouse operator/hook для DAG'ов
|
|
airflow-clickhouse-plugin==1.6.0
|
|
|
|
# Kafka client для загрузки данных и пульта генератора
|
|
kafka-python==2.0.6
|
|
|
|
# Метрики импортируются кодом генератора; HTTP-сервер в Airflow-задачах выключен
|
|
prometheus-client==0.21.1
|