feat(etl): добавлен дневной конвейер трансформаций
Зачем: - Один запуск должен одинаково работать из жизненного цикла, вручную после разгона и повторно после отказа. Что: - Добавлена последовательная сцепка DDS и DM с ожиданием каждого слоя. - DDS дожидается смещений Kafka и очереди доставки ClickHouse за общий срок. - ETL встроен в создание мира и живой день; документация приведена к новому графу. Проверка: - make config-test; make lint. - make smoke: 21/21; make check-clickhouse: 10/10; make check-services: 7/7. - make rebuild-storage, живой и пакетный дни, искусственный отказ и ручное восстановление ETL.
This commit is contained in:
1 parent
fb00bbe4c3
commit
12a5c109b2
10 files changed
+359
-43
No files matched your search
@@ -25,9 +25,11 @@ Kafka, DDL прикладных баз ClickHouse, стартовыми данн
|
||||
|
||||
`world_recreate` ставит `-1` до первого удаления и `0` только после успешной
|
||||
очистки. `world_initialize` принимает отсутствие позиции или `0`, а значение
|
||||
`8` и больше считает готовым миром. Позиция становится `8` последней задачей,
|
||||
после генерации стартовых дней и успешного приёма обоих источников. Обычные
|
||||
даги движения мира работают только с готовой позицией.
|
||||
`8` и больше считает готовым миром. После генерации стартовых дней и успешного
|
||||
приема обоих источников позиция становится `8`; затем инициализация последним
|
||||
шагом ждет дневной конвейер `etl_pipeline`. При отказе преобразований мир
|
||||
остается готовым на позиции `8`, а конвейер после исправления запускают рукой.
|
||||
Обычные даги движения мира работают только с готовой позицией.
|
||||
|
||||
## Почему
|
||||
|
||||
@@ -39,9 +41,10 @@ Kafka, DDL прикладных баз ClickHouse, стартовыми данн
|
||||
Kafka сообщения и офсеты прежнего мира.
|
||||
|
||||
Airflow уже ведёт последующие дни и приём заказов. Отдав ему начало той же оси,
|
||||
получаем один наблюдаемый процесс и одну точку успеха: зелёный
|
||||
`world_initialize` означает, что схема создана, стартовый мир принят и его
|
||||
следующий день известен.
|
||||
получаем один наблюдаемый процесс и одну точку успеха: зеленая ветка создания в
|
||||
`world_initialize` подтверждает, что схема создана, стартовый мир принят, его
|
||||
следующий день известен, а слои DDS и DM собраны. Короткая ветка готового мира
|
||||
по-прежнему подтверждает позицию и ничего не меняет.
|
||||
|
||||
## Что это решение уточняет
|
||||
|
||||
|
||||
Reference in new issue
Block a user