feat(etl): добавлен дневной конвейер трансформаций
Зачем: - Один запуск должен одинаково работать из жизненного цикла, вручную после разгона и повторно после отказа. Что: - Добавлена последовательная сцепка DDS и DM с ожиданием каждого слоя. - DDS дожидается смещений Kafka и очереди доставки ClickHouse за общий срок. - ETL встроен в создание мира и живой день; документация приведена к новому графу. Проверка: - make config-test; make lint. - make smoke: 21/21; make check-clickhouse: 10/10; make check-services: 7/7. - make rebuild-storage, живой и пакетный дни, искусственный отказ и ручное восстановление ETL.
This commit is contained in:
1 parent
fb00bbe4c3
commit
12a5c109b2
10 files changed
+359
-43
No files matched your search
+11
-1
@@ -12,6 +12,9 @@
|
||||
идут отправка слепка тем же контейнером генератора и ждущий триггер дага приёма
|
||||
`orders_ingest`.
|
||||
|
||||
Живой день после установки позиции дожидается еще и `etl_pipeline`. Пачка
|
||||
только разгоняет источники: слои после нее менти догоняет ручным запуском.
|
||||
|
||||
Разделение не косметическое. Расписание на самом работнике заставило бы кнопку
|
||||
паузы значить две вещи разом — «мир не едет сам» и «даг выключен», — а работник
|
||||
при этом выглядел бы в списке выключенным, хотя нажимают его каждый день.
|
||||
@@ -209,7 +212,14 @@ def world_live_day():
|
||||
["snapshot", "--day", PLAYED_DAY, "--topic", ORDERS_TOPIC],
|
||||
)
|
||||
|
||||
first_day >> played >> sent >> _ingest_orders() >> remember_played(first_day)
|
||||
position = remember_played(first_day)
|
||||
etl = TriggerDagRunOperator(
|
||||
task_id="trigger_etl_pipeline",
|
||||
trigger_dag_id="etl_pipeline",
|
||||
wait_for_completion=True,
|
||||
poke_interval=10,
|
||||
)
|
||||
first_day >> played >> sent >> _ingest_orders() >> position >> etl
|
||||
|
||||
|
||||
@dag(
|
||||
|
||||
Reference in new issue
Block a user