feat(etl): добавлен дневной конвейер трансформаций
Зачем: - Один запуск должен одинаково работать из жизненного цикла, вручную после разгона и повторно после отказа. Что: - Добавлена последовательная сцепка DDS и DM с ожиданием каждого слоя. - DDS дожидается смещений Kafka и очереди доставки ClickHouse за общий срок. - ETL встроен в создание мира и живой день; документация приведена к новому графу. Проверка: - make config-test; make lint. - make smoke: 21/21; make check-clickhouse: 10/10; make check-services: 7/7. - make rebuild-storage, живой и пакетный дни, искусственный отказ и ручное восстановление ETL.
This commit is contained in:
1 parent
fb00bbe4c3
commit
12a5c109b2
10 files changed
+359
-43
No files matched your search
@@ -125,9 +125,9 @@ Airflow. Партиция — день данных; прогон звена DQ
|
||||
`TRUNCATE+INSERT` выполняется той же механикой замены, что и у витрин, —
|
||||
ничего отдельного учить не надо.
|
||||
|
||||
## Звено DQ конвейера
|
||||
## Будущее звено DQ конвейера
|
||||
|
||||
Встаёт в `etl_pipeline` после DM ([конвейер](etl.md)) и проверяет только
|
||||
Встанет в `etl_pipeline` после DM ([конвейер](etl.md)) и проверит только
|
||||
объекты стенда:
|
||||
|
||||
- счётная сверка сессий с эталоном `VisitID` — кука × день, эталон читается
|
||||
|
||||
Reference in new issue
Block a user