feat(orders): добавить приём слепков в STG
Зачем: - связать проигрывание модельных дней с пакетным приёмом заказов - показать на одном стенде различие потокового push и пакетного pull Что: - добавлен топик, Kafka-чтец и реплицированное сырьё заказов - добавлен даг orders_ingest с одним прямым чтением и идентификатором загрузки - работники мира отправляют слепок, ждут приём и только затем двигают позицию - решения, границы отказа и проверки отражены в ADR и архитектурных документах Проверка: - make lint - make config-test - make smoke - make check-clickhouse - make check-services
This commit is contained in:
@@ -233,6 +233,12 @@ uv run --project generator python -m clickstream_generator batch \
|
||||
| `world_live_day` | играет следующий день в темпе модельного времени, около двадцати четырёх минут |
|
||||
| `world_live` | выключатель: пока снят с паузы, дёргает `world_live_day` день за днём |
|
||||
|
||||
Работник не только играет день: следом он отправляет слепок заказов за
|
||||
сыгранное и дёргает отдельный даг, `orders_ingest`, — тот забирает приехавший
|
||||
слепок из топика `orders` в сырьё, — и дожидается его конца. Так две половины
|
||||
стенда идут в ногу: упал приём — краснеет и работник, а позиция остаётся на
|
||||
месте ([ADR 0008](docs/adr/0008-order-ingestion.md)).
|
||||
|
||||
Позицию хранит переменная Airflow `world_position` — номер первого несыгранного
|
||||
дня. Ставит её работник, сыгравший день, и только по успеху: оборванный прогон
|
||||
позицию не двигает, и следующий запуск играет тот же день заново. Нет
|
||||
|
||||
Reference in New Issue
Block a user