refactor(etl): упрощена проверка готовности Kafka
- Зачем: - верхние смещения можно получить тем же административным клиентом без одноразового Consumer и фиктивной группы. - Что: - чтение хвоста переведено на AdminClient.list_offsets с OffsetSpec.latest. - назначение system.one названо рядом с запросом, а документация и запись проверок сокращены и переставлены по смыслу. - Проверка: - make config-test; make lint. - живые проверки готового и отсутствующего разделов Kafka; полный etl_pipeline.
This commit is contained in:
1 parent
12a5c109b2
commit
61e662c19c
4 files changed
+27
-30
No files matched your search
@@ -16,6 +16,10 @@
|
||||
`dds_transform`, затем `dm_transform`. Будущее звено DQ встанет после DM.
|
||||
Его состав описан в [доке слоя DM](dm.md).
|
||||
|
||||
Ждущие вызовы сделаны `TriggerDagRunOperator`. Проверка через Context7 по
|
||||
ближайшей доступной документации Airflow 3.x (версия 3.1.6) подтвердила, что
|
||||
оператор опрашивает точный созданный им прогон и краснеет вслед за потомком.
|
||||
|
||||
Слойные даги устроены по образцу `orders_ingest`: без расписания, один
|
||||
активный прогон, запускаются триггером конвейера или рукой при разборе
|
||||
происшествий. Витрины внутри `dm_transform` — отдельные задачи.
|
||||
@@ -98,10 +102,6 @@ ODS и ещё не собранный в DDS, затем при необходи
|
||||
подтвердить сообщение раньше, чем Distributed-таблица доставила файл на шард.
|
||||
Два барьера закрывают обе части пути до того, как сессии выберут свой объем.
|
||||
|
||||
Ждущие вызовы сделаны `TriggerDagRunOperator`. Проверка через Context7 по
|
||||
ближайшей доступной документации Airflow 3.x (версия 3.1.6) подтвердила, что
|
||||
оператор опрашивает точный созданный им прогон и краснеет вслед за потомком.
|
||||
|
||||
## Идемпотентность
|
||||
|
||||
Партиция не заменяется простой вставкой. День собирается в таблицу-двойник —
|
||||
|
||||
@@ -240,7 +240,8 @@ Kafka → STG → ODS, и живёт он в `make check-clickhouse`.
|
||||
**Приемка #156 27 августа 2026 года.** `make rebuild-storage` занял 7 минут.
|
||||
На чистом прикладном мире `world_initialize` сам довел позицию до `8`, дождался
|
||||
`etl_pipeline` и оставил заполненными DDS и обе витрины. После пересборки прошли
|
||||
`make smoke` 21/21 и `make check-clickhouse` 10/10.
|
||||
`make smoke` 21/21 и `make check-clickhouse` 10/10. Перед стендовыми сценариями
|
||||
прошли `make config-test` и `make lint`.
|
||||
|
||||
Два прогона `world_next_day` не изменили слои; один ручной `etl_pipeline` без
|
||||
параметров догнал оба дня. Полный прогон `world_live_day` занял 27 м 2 с и
|
||||
|
||||
Reference in new issue
Block a user