feat(dags): add ddl dag for gp and rename csv dq
This commit is contained in:
@@ -40,13 +40,13 @@
|
||||
|
||||
### 1.3. Собственные проверки качества данных
|
||||
|
||||
1. Найдите DAG `greenplum_data_quality` в `airflow/dags/data_quality_greenplum.py`.
|
||||
1. Найдите DAG `csv_to_greenplum_dq` в `airflow/dags/csv_to_greenplum_dq.py`.
|
||||
2. Посмотрите, какие проверки уже реализованы (наличие таблицы, схема, дубликаты).
|
||||
3. Добавьте ещё одну простую проверку, например:
|
||||
- проверка, что в таблице `public.orders` не больше N строк;
|
||||
- проверка, что поле (например, `order_price`) не содержит отрицательных значений;
|
||||
- проверка, что нет строк с `NULL` в ключевых колонках.
|
||||
4. Запустите DAG `greenplum_data_quality` и убедитесь, что:
|
||||
4. Запустите DAG `csv_to_greenplum_dq` и убедитесь, что:
|
||||
- новая проверка проходит на «хороших» данных;
|
||||
- при нарушении условия DAG падает с понятной ошибкой.
|
||||
|
||||
@@ -115,4 +115,3 @@
|
||||
- Расширить проверки качества данных для потоков bookings → STG → витрины.
|
||||
|
||||
Когда будете готовы к этим темам, вернитесь к этому разделу — он станет основой для следующего «модуля» лабораторных заданий.
|
||||
|
||||
|
||||
Reference in New Issue
Block a user