feat(stand): добавлены стартовые слепки заказов
- Зачем: - свежий стенд должен показывать отставание ночной выгрузки заказов от кликстрима. - Что: - после событий генератор отправляет семь слепков дней 0…6 в общий топик orders. - make up запускает orders_ingest, ограниченно ждёт его завершения и оставляет день 7 первому ходу мира. - README и карта проверок описывают второй источник и измеренную цену подъёма. - Проверка: - make clean && make up; make smoke; make check-clickhouse; make check-services. - cd generator && make lint && make typecheck && make test.
This commit is contained in:
@@ -126,13 +126,20 @@ Kafka по той же причине спрашивают снаружи. Её
|
||||
|
||||
Стенд поднимается не пустым: разовая служба `world-init` играет в топик `hits`
|
||||
первые восемь дней модельного времени — понедельник по понедельник, 401 185
|
||||
событий. Дальше их обычным путём разбирает хранилище, и к концу `make up` они
|
||||
лежат в `ods.event`. Так у всякой лабы есть данные, и всегда одни и те же.
|
||||
событий. Следом второй запуск того же генератора отправляет в топик `orders`
|
||||
семь слепков — за дни 0…6. Дальше оба источника разбирает хранилище, и к концу
|
||||
`make up` события лежат в `ods.event`, а заказы — в `ods.order_v`. Так у всякой
|
||||
лабы есть данные, и всегда одни и те же.
|
||||
|
||||
Ждать приходится дольше, чем работает заливка: приём асинхронный, поэтому
|
||||
вторым шагом `make up` зовёт `scripts/wait-for-world.sh` — тот опрашивает
|
||||
ClickHouse, пока мир не доедет. Повторный `make up` заливает мир заново; это
|
||||
не ошибка, а свойство: номера событий те же, и повтор схлопнет
|
||||
Последний день намеренно неполон: события дня 7 уже приехали, а его слепок
|
||||
уедет только с первым ходом мира. Поэтому на свежем стенде правый край графика
|
||||
выручки отстаёт от кликстрима и дозаполняется по мере движения мира — так
|
||||
виден разный темп потокового трекера и ночной выгрузки магазина.
|
||||
|
||||
Ждать приходится дольше, чем работает заливка. `make up` сначала опрашивает
|
||||
ClickHouse, пока события не доедут, затем разово запускает даг `orders_ingest`
|
||||
и ждёт его конца. Повторный `make up` заливает мир заново; это не ошибка, а
|
||||
свойство: номера событий и версии заказов те же, и повторы схлопнут
|
||||
`ReplacingMergeTree`.
|
||||
|
||||
Сам мир в git не хранится — он чистая функция зерна, и держать его в
|
||||
|
||||
Reference in New Issue
Block a user