feat(orders): добавить приём слепков в STG #101

2026-08-18T21:44:46+03:00

ddmitry commented

2026-08-18 21:44:46 +03:00

Что сделано

добавлены топик orders, Kafka-чтец на первой ноде и реплицированное сырьё заказов;
добавлен отдельный даг orders_ingest с одним прямым чтением и _load_id = run_id;
работники мира отправляют слепок, ждут результат приёма и только затем двигают позицию;
недельный пакетный разгон ограничен объёмом, который гарантированно помещается в одно чтение;
ADR и архитектурные документы обновлены с честной границей отказа после чтения.

Проверка

make lint
make config-test
make smoke — 20/20
make check-clickhouse — 9/9
make check-services — 7/7

Closes #93

## Что сделано - добавлены топик `orders`, Kafka-чтец на первой ноде и реплицированное сырьё заказов; - добавлен отдельный даг `orders_ingest` с одним прямым чтением и `_load_id = run_id`; - работники мира отправляют слепок, ждут результат приёма и только затем двигают позицию; - недельный пакетный разгон ограничен объёмом, который гарантированно помещается в одно чтение; - ADR и архитектурные документы обновлены с честной границей отказа после чтения. ## Проверка - `make lint` - `make config-test` - `make smoke` — 20/20 - `make check-clickhouse` — 9/9 - `make check-services` — 7/7 Closes #93

ddmitry added 1 commit 2026-08-18 21:44:48 +03:00

feat(orders): добавить приём слепков в STG 6bd9190142

Зачем:
- связать проигрывание модельных дней с пакетным приёмом заказов
- показать на одном стенде различие потокового push и пакетного pull

Что:
- добавлен топик, Kafka-чтец и реплицированное сырьё заказов
- добавлен даг orders_ingest с одним прямым чтением и идентификатором загрузки
- работники мира отправляют слепок, ждут приём и только затем двигают позицию
- решения, границы отказа и проверки отражены в ADR и архитектурных документах

Проверка:
- make lint
- make config-test
- make smoke
- make check-clickhouse
- make check-services

ddmitry merged commit 11a494f550 into main

2026-08-18 21:49:10 +03:00

ddmitry deleted branch feat/93-orders-ingestion

2026-08-18 21:49:11 +03:00

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: ddmitry/clickstream-data-platform#101