fix(dags): сделать учебные сценарии воспроизводимыми
Управляемые ветки и ошибки, зависимости общих обработчиков, сохранение SQL-результата и фактическое чтение результатов Extract. Добавлен пример пулов и XCom; DQ-сводка сохраняет отказ при all_done. Проверено на Airflow 2.9.2: импорт и запуск девяти исходных DAG, выбор веток, повтор и окончательные отказы обеих рабочих задач, отрицательный DQ-сценарий и восстановление, фильтрация Extract и ожидание слотов.
This commit is contained in:
1 parent
623d5861c1
commit
cf1b770a65
6 files changed
+225
-211
No files matched your search
@@ -4,7 +4,6 @@ DAG для демонстрации работы с SQL в Airflow
|
||||
"""
|
||||
from datetime import datetime, timedelta
|
||||
from airflow import DAG
|
||||
from airflow.operators.python import PythonOperator
|
||||
from airflow.providers.postgres.operators.postgres import PostgresOperator
|
||||
|
||||
# Определение DAG
|
||||
@@ -76,11 +75,12 @@ query_data_task = PostgresOperator(
|
||||
)
|
||||
|
||||
truncate_table_task = PostgresOperator(
|
||||
task_id='drop_table',
|
||||
task_id='truncate_table',
|
||||
postgres_conn_id='postgres_training',
|
||||
sql=truncate_table_sql,
|
||||
dag=dag
|
||||
)
|
||||
|
||||
# Установка зависимостей
|
||||
create_table_task >> insert_data_task >> query_data_task >> truncate_table_task
|
||||
# Очистка перед вставкой: после запуска в таблице остаются три строки.
|
||||
create_table_task >> truncate_table_task >> insert_data_task >> query_data_task
|
||||
Reference in new issue
Block a user