refactor(etl): упрощена проверка готовности Kafka
- Зачем: - верхние смещения можно получить тем же административным клиентом без одноразового Consumer и фиктивной группы. - Что: - чтение хвоста переведено на AdminClient.list_offsets с OffsetSpec.latest. - назначение system.one названо рядом с запросом, а документация и запись проверок сокращены и переставлены по смыслу. - Проверка: - make config-test; make lint. - живые проверки готового и отсутствующего разделов Kafka; полный etl_pipeline.
This commit is contained in:
1 parent
12a5c109b2
commit
61e662c19c
4 files changed
+27
-30
No files matched your search
@@ -16,6 +16,10 @@
|
||||
`dds_transform`, затем `dm_transform`. Будущее звено DQ встанет после DM.
|
||||
Его состав описан в [доке слоя DM](dm.md).
|
||||
|
||||
Ждущие вызовы сделаны `TriggerDagRunOperator`. Проверка через Context7 по
|
||||
ближайшей доступной документации Airflow 3.x (версия 3.1.6) подтвердила, что
|
||||
оператор опрашивает точный созданный им прогон и краснеет вслед за потомком.
|
||||
|
||||
Слойные даги устроены по образцу `orders_ingest`: без расписания, один
|
||||
активный прогон, запускаются триггером конвейера или рукой при разборе
|
||||
происшествий. Витрины внутри `dm_transform` — отдельные задачи.
|
||||
@@ -98,10 +102,6 @@ ODS и ещё не собранный в DDS, затем при необходи
|
||||
подтвердить сообщение раньше, чем Distributed-таблица доставила файл на шард.
|
||||
Два барьера закрывают обе части пути до того, как сессии выберут свой объем.
|
||||
|
||||
Ждущие вызовы сделаны `TriggerDagRunOperator`. Проверка через Context7 по
|
||||
ближайшей доступной документации Airflow 3.x (версия 3.1.6) подтвердила, что
|
||||
оператор опрашивает точный созданный им прогон и краснеет вслед за потомком.
|
||||
|
||||
## Идемпотентность
|
||||
|
||||
Партиция не заменяется простой вставкой. День собирается в таблицу-двойник —
|
||||
|
||||
Reference in new issue
Block a user