Результат прогона линтера

airflow/dags/helpers/greenplum.py

@@ -9,7 +9,11 @@ import psycopg2
 # Настройки для подключения к Greenplum. По умолчанию используем Airflow Connection,
 # но при проблемах можно переключиться на ENV-подключение, установив GP_USE_AIRFLOW_CONN=false.
 GP_CONN_ID = os.getenv("GP_CONN_ID", "greenplum_conn")
-GP_USE_AIRFLOW_CONN = os.getenv("GP_USE_AIRFLOW_CONN", "true").lower() in ("1", "true", "yes")
+GP_USE_AIRFLOW_CONN = os.getenv("GP_USE_AIRFLOW_CONN", "true").lower() in (
+    "1",
+    "true",
+    "yes",
+)
 
 # Ожидаемая схема таблицы orders для проверки качества данных
 EXPECTED_ORDERS_SCHEMA: List[Tuple[str, str]] = [
@@ -23,11 +27,11 @@ EXPECTED_ORDERS_SCHEMA: List[Tuple[str, str]] = [
 def get_gp_conn():
     """
     Возвращает psycopg2 connection к Greenplum.
-    
+
     Приоритет подключения:
     1. Через Airflow Connection (если настроено и доступно)
     2. Прямое подключение по переменным окружения (фоллбек)
-    
+
     Returns:
         psycopg2 connection object
     """
@@ -52,17 +56,19 @@ def get_gp_conn():
         "host": os.getenv("GP_HOST", "greenplum"),
         "port": int(os.getenv("GP_PORT", "5432")),
     }
-    logging.info("🔗 Подключение к Greenplum: %s:%s", conn_params["host"], conn_params["port"])
+    logging.info(
+        "🔗 Подключение к Greenplum: %s:%s", conn_params["host"], conn_params["port"]
+    )
     return psycopg2.connect(**conn_params)
 
 
 def assert_orders_table_exists(conn) -> None:
     """
     Проверяет наличие таблицы orders в схеме public.
-    
+
     Args:
         conn: Подключение к Greenplum
-        
+
     Raises:
         ValueError: Если таблица не найдена
     """
@@ -76,17 +82,19 @@ def assert_orders_table_exists(conn) -> None:
             """
         )
         if cur.fetchone() is None:
-            raise ValueError("❌ Таблица public.orders не найдена; запусти DAG csv_to_greenplum.")
+            raise ValueError(
+                "❌ Таблица public.orders не найдена; запусти DAG csv_to_greenplum."
+            )
     logging.info("✅ Таблица public.orders существует")
 
 
 def fetch_orders_schema(conn) -> Sequence[Tuple[str, str]]:
     """
     Получает схему таблицы orders из information_schema.
-    
+
     Args:
         conn: Подключение к Greenplum
-        
+
     Returns:
         Список кортежей (имя_колонки, тип_данных)
     """
@@ -105,10 +113,10 @@ def fetch_orders_schema(conn) -> Sequence[Tuple[str, str]]:
 def assert_orders_schema(conn) -> None:
     """
     Проверяет, что схема таблицы orders соответствует ожидаемой.
-    
+
     Args:
         conn: Подключение к Greenplum
-        
+
     Raises:
         ValueError: Если схема не соответствует ожидаемой
     """
@@ -116,19 +124,21 @@ def assert_orders_schema(conn) -> None:
     schema = fetch_orders_schema(conn)
     logging.info("📊 Фактическая схема: %s", list(schema))
     logging.info("📊 Ожидаемая схема: %s", EXPECTED_ORDERS_SCHEMA)
-    
+
     if list(schema) != EXPECTED_ORDERS_SCHEMA:
-        raise ValueError(f"❌ Неожиданная схема orders: {schema}. Ожидали {EXPECTED_ORDERS_SCHEMA}.")
+        raise ValueError(
+            f"❌ Неожиданная схема orders: {schema}. Ожидали {EXPECTED_ORDERS_SCHEMA}."
+        )
     logging.info("✅ Схема таблицы orders соответствует ожиданиям")
 
 
 def fetch_orders_count(conn) -> int:
     """
     Получает количество строк в таблице orders.
-    
+
     Args:
         conn: Подключение к Greenplum
-        
+
     Returns:
         Количество строк в таблице
     """
@@ -140,29 +150,31 @@ def fetch_orders_count(conn) -> int:
 def assert_orders_have_rows(conn) -> None:
     """
     Проверяет, что таблица orders не пустая.
-    
+
     Args:
         conn: Подключение к Greenplum
-        
+
     Raises:
         ValueError: Если таблица пустая
     """
     logging.info("📊 Проверяем наличие данных в таблице orders...")
     row_count = fetch_orders_count(conn)
     logging.info("📈 Количество строк в orders: %s", row_count)
-    
+
     if row_count <= 0:
-        raise ValueError("❌ Таблица public.orders пустая — запусти DAG csv_to_greenplum перед проверкой.")
+        raise ValueError(
+            "❌ Таблица public.orders пустая — запусти DAG csv_to_greenplum перед проверкой."
+        )
     logging.info("✅ Таблица orders содержит данные (%s строк)", row_count)
 
 
 def fetch_orders_duplicates(conn) -> int:
     """
     Подсчитывает количество дубликатов по order_id.
-    
+
     Args:
         conn: Подключение к Greenplum
-        
+
     Returns:
         Количество дублирующихся order_id
     """
@@ -183,17 +195,19 @@ def fetch_orders_duplicates(conn) -> int:
 def assert_orders_no_duplicates(conn) -> None:
     """
     Проверяет, что в таблице нет дублей по order_id.
-    
+
     Args:
         conn: Подключение к Greenplum
-        
+
     Raises:
         ValueError: Если обнаружены дубликаты
     """
     logging.info("🔍 Проверяем отсутствие дубликатов по order_id...")
     duplicates = fetch_orders_duplicates(conn)
     logging.info("📊 Найдено дубликатов: %s", duplicates)
-    
+
     if duplicates:
-        raise ValueError(f"❌ Обнаружены дубли по order_id ({duplicates} шт.) — проверь загрузку данных.")
+        raise ValueError(
+            f"❌ Обнаружены дубли по order_id ({duplicates} шт.) — проверь загрузку данных."
+        )
     logging.info("✅ Дубликаты не обнаружены")