feat(generator): заказы дня — проекция покупок с деньгами магазина
- Зачем: - тикет #90: второй источник должен смотреть на торговую половину дня глазами бэкенда — заказ есть проекция покупки, а не второе порождение; учебный результат — два источника согласованы по построению, а не сверкой. - Что: - `commerce` отдаёт вторым выходом покупки дня: номер заказа, корзину, выручку клиента, промокод и человека за кукой; новых бросков в подпоток `COMMERCE` не добавилось, события дня не сдвинулись. - заведена заказная сторона: подпоток `ORDERS` на позиции 2 дерева зерна (прежнее мёртвое имя `DISCREPANCIES`), ветвление — по дню рождения заказа; `LATECOMERS` не тронут, его наполнит этап 6. - новый модуль `orders.py`: деньги заказа целыми копейками — `items_total` из корзины, `discount` по таблице «код → скидка» (округление вниз), `delivery` броском по таблице весов на полную длину дня, `total` = `items_total` − `discount` + `delivery`. - план состава завёл `person_id` — последним броском когорты, после паспортов: вторая кука пары повторяет ID своего человека, заказ показывает его как `user_id`, в событие Метрики он не попадает. - `world`: окно изменяемости `ORDER_WINDOW_DAYS` = 7 рядом с D0 и поясом, черновая таблица стоимости доставки. - слепок дня в тестах сторожит обе половины: заказы сравниваются наравне с потоком событий. - доки: имя подпотока заказной стороны и состав денег заказа записаны в `docs/architecture/orders`, README генератора знает про новый модуль. - Проверка: - из `generator/`: make lint, make typecheck, make test (417 тестов); в корне — make lint. - опись мира не покраснела: байты восьми дней те же, заказная сторона события не сдвинула. Closes #90 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
Claude Opus 5
+12
-6
@@ -7,8 +7,9 @@
|
||||
События уже есть и уже уезжают: день-функция отдаёт по паре (зерно, D)
|
||||
упорядоченный поток трёх видов — просмотр страницы, корзина, покупка, —
|
||||
канонический сериализатор превращает его в JSON, а проигрыватель гонит в файл
|
||||
или в Kafka. Клиентская сторона на этом целая; заказы бэкенда — за следующими
|
||||
этапами.
|
||||
или в Kafka. Клиентская сторона на этом целая. Второй источник строится:
|
||||
день отдаёт и заказы бэкенда — проекцию своих покупок с деньгами магазина, —
|
||||
а судьба заказа и отправка слепка идут следующими тикетами.
|
||||
|
||||
## Как это работает
|
||||
|
||||
@@ -30,7 +31,8 @@ D0 живёт предыстория, поэтому любой день соб
|
||||
значит сдвинуть все броски после него, а с ними и весь мир: события того же
|
||||
дня станут другими, счётчики канонического мира разойдутся с описью, и
|
||||
поймается это не ошибкой, а красным чеком. Ровно поэтому паспорта кук в
|
||||
`plan.cohort` бросаются последними.
|
||||
`plan.cohort` брошены последними, а личность человека приписана уже за ними:
|
||||
куки, пары и паспорта остались теми же до байта.
|
||||
|
||||
Случайность целочисленная — только диапазоны и выбор по целым весам: готовые
|
||||
распределения numpy расходятся между версиями и архитектурами, а обещано
|
||||
@@ -44,8 +46,8 @@ D0 живёт предыстория, поэтому любой день соб
|
||||
- `src/clickstream_generator/seeds.py` — иерархия зёрен: кто из какого
|
||||
подпотока берёт случайность. На ней держится весь детерминизм.
|
||||
- `src/clickstream_generator/plan.py` — план состава: кто есть в мире в
|
||||
день D. Когорты, приток, двухкуковые пары, паспорта кук и счётчики — до
|
||||
генерации событий.
|
||||
день D. Когорты, приток, двухкуковые пары, паспорта кук, человек за кукой
|
||||
и счётчики — до генерации событий.
|
||||
- `src/clickstream_generator/weights.py` — выбор по целым весам: один приём
|
||||
на весь генератор, чтобы дисциплина целочисленной случайности не жила
|
||||
копиями.
|
||||
@@ -56,10 +58,14 @@ D0 живёт предыстория, поэтому любой день соб
|
||||
`data/catalog/products.csv`, общего у генератора и словаря ClickHouse.
|
||||
- `src/clickstream_generator/day.py` — день-функция: визиты, страницы,
|
||||
атрибуция, устройство и гео. Там же правила резки визитов и шов, на
|
||||
который садятся торговые события.
|
||||
который садятся торговые события; прожитый день отдаёт обе половины —
|
||||
поток событий и заказы.
|
||||
- `src/clickstream_generator/commerce.py` — торговые события: что легло в
|
||||
корзину, что из этого куплено, деньги, номера заказов и сырой `ecommerce`.
|
||||
Своя случайность, поэтому правка торговли трафик не двигает.
|
||||
- `src/clickstream_generator/orders.py` — заказы бэкенда: вторая проекция
|
||||
покупки. Личность покупателя и деньги магазина — скидка по промокоду,
|
||||
доставка, итог; своя случайность, ветвящаяся по дню рождения заказа.
|
||||
- `src/clickstream_generator/ids.py` — номера событий: неповторяющиеся и
|
||||
ниже 2^53. Обещание одно на обе половины дня, поэтому и живёт отдельно.
|
||||
- `src/clickstream_generator/serialize.py` — канонический сериализатор:
|
||||
|
||||
@@ -39,9 +39,17 @@
|
||||
дошедшие до потока дня, в порядке событий — до всяких потерь; поэтому номер
|
||||
присваивается последним ходом, когда поток уже упорядочен.
|
||||
|
||||
**Второй выход — покупки дня.** Кроме потока событий торговая половина
|
||||
отдаёт покупки готовой структурой: номер заказа, корзина, деньги клиента,
|
||||
промокод и человек за кукой. Заказная сторона берёт их такими и ничего не
|
||||
пересчитывает: заказ — вторая проекция той же покупки, поэтому согласие двух
|
||||
источников не удерживается, а выходит по построению
|
||||
(docs/architecture/orders/snapshot.md).
|
||||
|
||||
**Случайность — подпоток `COMMERCE`** (спека генератора, раздел 2): правка
|
||||
торгового поведения не сдвигает трафиковый поток. Броски целые и векторные;
|
||||
посточно собираются только строки — их numpy не умеет.
|
||||
посточно собираются только строки — их numpy не умеет. Новых бросков заказы
|
||||
сюда не добавляют: свои решения заказная сторона тянет из своего подпотока.
|
||||
"""
|
||||
|
||||
from dataclasses import dataclass
|
||||
@@ -123,19 +131,61 @@ class _Draws:
|
||||
order_delay: NDArray[np.int64]
|
||||
|
||||
|
||||
@dataclass(frozen=True, slots=True)
|
||||
class Purchases:
|
||||
"""Покупки дня готовой структурой — второй выход торговой половины.
|
||||
|
||||
Ряды одной длины, по элементу на покупку, в порядке номеров заказа.
|
||||
Корзина лежит парой рядов ячеек — номера товаров каталога и штуки; в
|
||||
каждой ячейке свой массив, длиной в число позиций покупки.
|
||||
"""
|
||||
|
||||
order_id: tuple[str, ...]
|
||||
# Человек за кукой, которая купила: у заказа он назовётся `user_id`.
|
||||
person_id: NDArray[np.uint64]
|
||||
product: tuple[NDArray[np.int64], ...]
|
||||
quantity: tuple[NDArray[np.int64], ...]
|
||||
# Промокод события строкой; у покупки без кода — пустая.
|
||||
coupon: tuple[str, ...]
|
||||
# Деньги клиента целыми копейками: сумма позиций без скидки и доставки,
|
||||
# та самая, что уехала в событие как `purchaseRevenue`. Бэкенд назовёт
|
||||
# её `items_total` — у двух источников свои имена одному числу.
|
||||
revenue: NDArray[np.int64]
|
||||
|
||||
def __len__(self) -> int:
|
||||
return self.person_id.size
|
||||
|
||||
|
||||
@dataclass(frozen=True, slots=True)
|
||||
class _Events:
|
||||
"""Строки одного вида торговых событий, готовые встать в поток.
|
||||
|
||||
`raw` — сырой `ecommerce` каждой строки ещё объектом: номер заказа в нём
|
||||
появится, когда поток будет упорядочен, а строка станет байтами один
|
||||
раз, каноническим сериализатором.
|
||||
раз, каноническим сериализатором. `basket` говорит, чья корзина стоит за
|
||||
строкой: по нему покупка находит свою после того, как поток упорядочен.
|
||||
"""
|
||||
|
||||
columns: dict[str, NDArray[Any]]
|
||||
page: NDArray[np.uint8]
|
||||
product: NDArray[np.int64]
|
||||
raw: list[dict[str, Any]]
|
||||
basket: NDArray[np.int64]
|
||||
|
||||
|
||||
# Что торговая половина отдаёт дню: поток целиком — колонки, страницы и
|
||||
# товары — и покупки дня вторым выходом.
|
||||
Woven = tuple[dict[str, NDArray[Any]], NDArray[np.uint8], NDArray[np.int64], Purchases]
|
||||
|
||||
# День без единой корзины: покупок в нём нет, а форма у рядов есть.
|
||||
_NO_PURCHASES = Purchases(
|
||||
order_id=(),
|
||||
person_id=np.empty(0, dtype=np.uint64),
|
||||
product=(),
|
||||
quantity=(),
|
||||
coupon=(),
|
||||
revenue=np.empty(0, dtype=np.int64),
|
||||
)
|
||||
|
||||
|
||||
def weave(
|
||||
@@ -144,24 +194,34 @@ def weave(
|
||||
columns: dict[str, NDArray[Any]],
|
||||
page: NDArray[np.uint8],
|
||||
product: NDArray[np.int64],
|
||||
) -> tuple[dict[str, NDArray[Any]], NDArray[np.uint8], NDArray[np.int64]]:
|
||||
"""Вплетает торговые события в трафиковый поток и отдаёт поток целиком.
|
||||
person: NDArray[np.uint64],
|
||||
) -> Woven:
|
||||
"""Вплетает торговые события в поток и отдаёт поток и покупки дня.
|
||||
|
||||
Строки приходят упорядоченными по времени и такими же уходят: торговые
|
||||
события встают между ними, и поток пересобирается одним порядком.
|
||||
события встают между ними, и поток пересобирается одним порядком. Второй
|
||||
выход — покупки дня: то же самое, чем они уехали в события.
|
||||
|
||||
`person` — человек за кукой каждой строки, выровненный по входящему
|
||||
потоку: личность приходит от плана состава, а не выводится из трекера
|
||||
(docs/architecture/orders/identity.md).
|
||||
"""
|
||||
rng = day_stream(seed, day, Component.COMMERCE)
|
||||
baskets = _baskets(rng, page, product, columns["VisitID"])
|
||||
if not len(baskets):
|
||||
return columns, page, product
|
||||
return columns, page, product, _NO_PURCHASES
|
||||
|
||||
goods = catalog.catalog()
|
||||
draws = _draws(rng, baskets)
|
||||
revenue = _revenue(goods, baskets, draws)
|
||||
coupons = _coupon_codes(draws)
|
||||
events = (
|
||||
_cart_events(columns, baskets, goods, draws),
|
||||
_order_events(columns, baskets, goods, draws),
|
||||
_order_events(columns, baskets, goods, draws, revenue, coupons),
|
||||
)
|
||||
return _stream(rng, columns, page, product, events)
|
||||
columns, page, product, basket = _stream(rng, columns, page, product, events)
|
||||
purchases = _purchases(columns, basket, baskets, draws, revenue, coupons, person)
|
||||
return columns, page, product, purchases
|
||||
|
||||
|
||||
def _draws(rng: np.random.Generator, baskets: _Baskets) -> _Draws:
|
||||
@@ -307,6 +367,36 @@ def _coupons(rng: np.random.Generator, baskets: int) -> NDArray[np.int64]:
|
||||
return np.where(rng.integers(0, 100, baskets) < world.COUPON_PERCENT, code, -1)
|
||||
|
||||
|
||||
def _coupon_codes(draws: _Draws) -> NDArray[np.object_]:
|
||||
"""Промокод каждой корзины строкой; у корзины без кода — пустая.
|
||||
|
||||
Код нужен обеим сторонам: событие везёт его как есть, а бэкенд по нему
|
||||
считает скидку заказа — по той же таблице чисел мира.
|
||||
"""
|
||||
return np.array(
|
||||
[
|
||||
world.COUPONS[number][0] if number >= 0 else ""
|
||||
for number in draws.coupon.tolist()
|
||||
],
|
||||
dtype=object,
|
||||
)
|
||||
|
||||
|
||||
def _revenue(
|
||||
goods: catalog.Catalog, baskets: _Baskets, draws: _Draws
|
||||
) -> NDArray[np.int64]:
|
||||
"""Деньги клиента по корзинам, целыми копейками: сумма купленных позиций.
|
||||
|
||||
Сумма считается один раз на день и уезжает в оба источника: в событие —
|
||||
как `purchaseRevenue`, в заказ — как `items_total`. Разойтись им негде,
|
||||
и это не совпадение, а построение.
|
||||
"""
|
||||
value = goods.price[baskets.product] * draws.quantity
|
||||
kopecks = np.zeros(len(baskets), dtype=np.int64)
|
||||
np.add.at(kopecks, baskets.basket[draws.kept], value[draws.kept])
|
||||
return kopecks
|
||||
|
||||
|
||||
def _cart_events(
|
||||
columns: dict[str, NDArray[Any]],
|
||||
baskets: _Baskets,
|
||||
@@ -329,6 +419,7 @@ def _cart_events(
|
||||
page=np.full(positions, Page.PRODUCT, dtype=np.uint8),
|
||||
product=baskets.product.copy(),
|
||||
raw=[{"currencyCode": world.CURRENCY, ADD_ACTION: block} for block in blocks],
|
||||
basket=baskets.basket,
|
||||
)
|
||||
|
||||
|
||||
@@ -337,6 +428,8 @@ def _order_events(
|
||||
baskets: _Baskets,
|
||||
goods: catalog.Catalog,
|
||||
draws: _Draws,
|
||||
revenue: NDArray[np.int64],
|
||||
coupons: NDArray[np.object_],
|
||||
) -> _Events:
|
||||
"""Строки `purchase`: по одной на корзину, дошедшую до подтверждения."""
|
||||
ordered = np.flatnonzero(baskets.confirmation >= 0)
|
||||
@@ -352,14 +445,9 @@ def _order_events(
|
||||
rows.update(side)
|
||||
|
||||
# Выручка клиента — сумма позиций без скидки и доставки, целыми копейками.
|
||||
kopecks = [
|
||||
int((goods.price[baskets.product[group]] * draws.quantity[group]).sum())
|
||||
for group in bought
|
||||
]
|
||||
codes = [
|
||||
world.COUPONS[number][0] if number >= 0 else ""
|
||||
for number in draws.coupon[ordered].tolist()
|
||||
]
|
||||
# Считана она один раз на день: тем же числом её возьмёт заказ бэкенда.
|
||||
kopecks = revenue[ordered].tolist()
|
||||
codes = coupons[ordered].tolist()
|
||||
rows["purchaseRevenue"] = _cells(
|
||||
[np.array([money / KOPECKS], dtype=np.float64) for money in kopecks]
|
||||
)
|
||||
@@ -380,6 +468,7 @@ def _order_events(
|
||||
page=np.full(ordered.size, Page.CONFIRMATION, dtype=np.uint8),
|
||||
product=np.full(ordered.size, -1, dtype=np.int64),
|
||||
raw=raw,
|
||||
basket=ordered,
|
||||
)
|
||||
|
||||
|
||||
@@ -479,8 +568,15 @@ def _stream(
|
||||
page: NDArray[np.uint8],
|
||||
product: NDArray[np.int64],
|
||||
events: tuple[_Events, ...],
|
||||
) -> tuple[dict[str, NDArray[Any]], NDArray[np.uint8], NDArray[np.int64]]:
|
||||
"""Собирает поток дня целиком: сутки режут хвост, время задаёт порядок."""
|
||||
) -> tuple[
|
||||
dict[str, NDArray[Any]], NDArray[np.uint8], NDArray[np.int64], NDArray[np.int64]
|
||||
]:
|
||||
"""Собирает поток дня целиком: сутки режут хвост, время задаёт порядок.
|
||||
|
||||
Четвёртым рядом уходит корзина каждой строки — у просмотра страницы её
|
||||
нет: по ней покупка находит свою корзину, когда поток уже упорядочен и
|
||||
полночь свой хвост отрезала.
|
||||
"""
|
||||
traffic = page.size
|
||||
trade = {
|
||||
name: np.concatenate([part.columns[name] for part in events])
|
||||
@@ -506,10 +602,17 @@ def _stream(
|
||||
place = np.full(traffic + len(raw), -1, dtype=np.int64)
|
||||
place[traffic:] = np.arange(len(raw))
|
||||
|
||||
basket = np.concatenate(
|
||||
(
|
||||
np.full(traffic, -1, dtype=np.int64),
|
||||
np.concatenate([part.basket for part in events])[alive],
|
||||
)
|
||||
)
|
||||
|
||||
order = np.lexsort((rows["WatchID"], rows["UTCEventTime"]))
|
||||
rows = {name: value[order] for name, value in rows.items()}
|
||||
_seal(rows, raw, place[order], _order_prefix(columns))
|
||||
return rows, page[order], product[order]
|
||||
return rows, page[order], product[order], basket[order]
|
||||
|
||||
|
||||
def _seal(
|
||||
@@ -537,6 +640,35 @@ def _seal(
|
||||
rows["ecommerce"][row] = orjson.dumps(block).decode()
|
||||
|
||||
|
||||
def _purchases(
|
||||
rows: dict[str, NDArray[Any]],
|
||||
basket: NDArray[np.int64],
|
||||
baskets: _Baskets,
|
||||
draws: _Draws,
|
||||
revenue: NDArray[np.int64],
|
||||
coupons: NDArray[np.object_],
|
||||
person: NDArray[np.uint64],
|
||||
) -> Purchases:
|
||||
"""Покупки дня — то же, чем они уехали в события, только структурой.
|
||||
|
||||
Порядок здесь — порядок строк потока, он же порядок номеров заказа:
|
||||
поток уже упорядочен и пронумерован, полночь свой хвост уже отрезала.
|
||||
Человек берётся у строки подтверждения — визит принадлежит одной куке,
|
||||
а кука одному человеку.
|
||||
"""
|
||||
here = np.flatnonzero(rows["EventType"] == PURCHASE)
|
||||
mine = basket[here]
|
||||
bought = [baskets.positions_of(number, draws.kept) for number in mine.tolist()]
|
||||
return Purchases(
|
||||
order_id=tuple(rows["purchaseID"][row][0] for row in here.tolist()),
|
||||
person_id=person[baskets.confirmation[mine]],
|
||||
product=tuple(baskets.product[group] for group in bought),
|
||||
quantity=tuple(draws.quantity[group] for group in bought),
|
||||
coupon=tuple(coupons[mine].tolist()),
|
||||
revenue=revenue[mine],
|
||||
)
|
||||
|
||||
|
||||
def _midnight(columns: dict[str, NDArray[Any]]) -> np.datetime64:
|
||||
"""Начало модельных суток абсолютной меткой: полночь в поясе счётчика."""
|
||||
date: np.datetime64 = columns["EventDate"][0]
|
||||
|
||||
@@ -36,15 +36,21 @@
|
||||
гарантия, ради неё мы сужаем свободу старта. Цена названа — около 24
|
||||
визитов в день из ~9,5 тыс. не начинаются в последние минуты суток.
|
||||
|
||||
**Шов с торговыми событиями.** Поток несёт, кроме колонок, два выровненных
|
||||
по строкам ряда: `page` — какая это страница магазина, и `product` — какой
|
||||
товар показывала карточка (−1 у прочих страниц). По ним `commerce` знает и
|
||||
то, куда сажать событие (карточка, подтверждение), и то, что посетитель на
|
||||
самом деле смотрел: товар в корзине, которого никто не открывал, — видимая
|
||||
глупость в воронке. Визит с назначенным заказом всегда доходит до
|
||||
`/confirmation`, а перед корзиной у него всегда есть карточка товара.
|
||||
Случайность у половин разная: трафик берёт подпоток `TRAFFIC`, торговля —
|
||||
`COMMERCE`, и правка одной не сдвигает другую.
|
||||
**Шов с торговыми событиями.** Поток несёт, кроме колонок, три выровненных
|
||||
по строкам ряда: `page` — какая это страница магазина, `product` — какой
|
||||
товар показывала карточка (−1 у прочих страниц), и `person` — человек за
|
||||
кукой этой строки. По первым двум `commerce` знает и то, куда сажать событие
|
||||
(карточка, подтверждение), и то, что посетитель на самом деле смотрел: товар
|
||||
в корзине, которого никто не открывал, — видимая глупость в воронке. Третий
|
||||
в события не попадает вовсе: личность нужна заказу, а кликстрим анонимен.
|
||||
Визит с назначенным заказом всегда доходит до `/confirmation`, а перед
|
||||
корзиной у него всегда есть карточка товара. Случайность у половин разная:
|
||||
трафик берёт подпоток `TRAFFIC`, торговля — `COMMERCE`, заказы — свой, и
|
||||
правка одной не сдвигает другие.
|
||||
|
||||
**Заказы бэкенда** день отдаёт второй половиной: покупки, которые собрала
|
||||
торговая половина, заказная превращает в заказы дня — с личностью
|
||||
покупателя и деньгами магазина (`orders`).
|
||||
"""
|
||||
|
||||
from dataclasses import dataclass
|
||||
@@ -53,7 +59,7 @@ from typing import Any
|
||||
import numpy as np
|
||||
from numpy.typing import NDArray
|
||||
|
||||
from clickstream_generator import catalog, commerce, ids, plan, reference, world
|
||||
from clickstream_generator import catalog, commerce, ids, orders, plan, reference, world
|
||||
from clickstream_generator.reference import Page
|
||||
from clickstream_generator.seeds import Component, day_stream
|
||||
from clickstream_generator.weights import pick, pick_row
|
||||
@@ -78,18 +84,22 @@ _SOURCE_CUMULATIVE = np.cumsum([source.weight for source in reference.TRAFFIC_SO
|
||||
|
||||
@dataclass(frozen=True, slots=True)
|
||||
class Day:
|
||||
"""Поток событий одного дня: колонки выгрузки и страницы за ними.
|
||||
"""Прожитый день: поток событий трекера и заказы бэкенда.
|
||||
|
||||
Строки упорядочены по времени — так их и проиграет проигрыватель.
|
||||
`columns` — колонки контракта схемы по его порядку, все до одной;
|
||||
`page` и `product` выровнены по тем же строкам (см. шов в докстринге
|
||||
модуля).
|
||||
модуля). `orders` — вторая половина дня: заказы, рождённые в нём.
|
||||
|
||||
Половины уезжают разными командами и в разные топики, но считаются
|
||||
вместе: заказ — проекция покупки, и порознь им разойтись негде.
|
||||
"""
|
||||
|
||||
day: int
|
||||
columns: dict[str, NDArray[Any]]
|
||||
page: NDArray[np.uint8]
|
||||
product: NDArray[np.int64]
|
||||
orders: orders.Orders
|
||||
|
||||
def __len__(self) -> int:
|
||||
return self.page.size
|
||||
@@ -149,15 +159,24 @@ def stream(seed: int, day: int) -> Day:
|
||||
|
||||
order = np.lexsort((columns["WatchID"], columns["UTCEventTime"]))
|
||||
# Торговые события садятся на готовый трафиковый поток и отдают его
|
||||
# целиком: в нём же они и упорядочиваются.
|
||||
columns, page, product = commerce.weave(
|
||||
# целиком: в нём же они и упорядочиваются. Вторым выходом приходят
|
||||
# покупки дня — из них заказная сторона собирает заказы.
|
||||
person = np.repeat(audience.person_id[visits.cookie], visits.pages)
|
||||
columns, page, product, purchases = commerce.weave(
|
||||
seed,
|
||||
day,
|
||||
{name: value[order] for name, value in columns.items()},
|
||||
page[alive][order],
|
||||
product[alive][order],
|
||||
person[alive][order],
|
||||
)
|
||||
return Day(
|
||||
day=day,
|
||||
columns=columns,
|
||||
page=page,
|
||||
product=product,
|
||||
orders=orders.of_day(seed, day, purchases),
|
||||
)
|
||||
return Day(day=day, columns=columns, page=page, product=product)
|
||||
|
||||
|
||||
def _visits(rng: np.random.Generator, audience: plan.DayAudience) -> _Visits:
|
||||
|
||||
@@ -0,0 +1,109 @@
|
||||
"""Заказы бэкенда: вторая проекция покупки и деньги магазина.
|
||||
|
||||
Заказ — не второе порождение, а вторая проекция того же факта мира. Корзину,
|
||||
цены, промокод и номер посчитала торговая половина дня-функции; заказная
|
||||
половина берёт её покупки готовой структурой и добавляет то, чего у клиента
|
||||
нет: личность покупателя под родным именем `user_id` и деньги магазина —
|
||||
скидку по коду, доставку и итог. Новых бросков в торговый подпоток заказная
|
||||
половина не делает, поэтому два источника согласованы по построению, а не
|
||||
сверкой (docs/architecture/orders/snapshot.md).
|
||||
|
||||
**Деньги — целыми копейками**, как и везде в генераторе: `items_total` —
|
||||
сумма позиций, посчитанная торговой половиной (у клиента то же число зовётся
|
||||
выручкой); `discount` — скидка по промокоду события, по таблице «код →
|
||||
скидка» из чисел мира; `delivery` — единственные деньги заказа, которых нет
|
||||
ни в одном событии; `total` — `items_total` − `discount` + `delivery`.
|
||||
Отсюда правило витрин «деньги считаем по бэкенду»: про скидку и доставку
|
||||
клиент не знает вовсе.
|
||||
|
||||
**Случайность — подпоток заказной стороны**, ветвящийся по дню рождения
|
||||
заказа: слепок несёт семь дней рождения сразу и судьбу каждого заказа обязан
|
||||
читать из его собственного дня. Броски делаются на полную длину дня, а не на
|
||||
отобранных заказах, — иначе длина броска стала бы функцией доли, и правка
|
||||
одной доли перебрасывала бы весь подпоток после себя
|
||||
(docs/architecture/orders/fate.md).
|
||||
|
||||
Судьбы у заказа здесь ещё нет: статус, моменты оплаты и отмены и дельта
|
||||
суммы — следующий тикет.
|
||||
"""
|
||||
|
||||
from dataclasses import dataclass
|
||||
|
||||
import numpy as np
|
||||
from numpy.typing import NDArray
|
||||
|
||||
from clickstream_generator import world
|
||||
from clickstream_generator.commerce import Purchases
|
||||
from clickstream_generator.seeds import Component, day_stream
|
||||
from clickstream_generator.weights import pick
|
||||
|
||||
_DISCOUNT_PERCENT = dict(world.COUPONS)
|
||||
_DELIVERY_PRICE = np.array(
|
||||
[price for price, _ in world.DELIVERY_KOPECKS_WEIGHTS], dtype=np.int64
|
||||
)
|
||||
_DELIVERY_CUMULATIVE = np.cumsum(
|
||||
[weight for _, weight in world.DELIVERY_KOPECKS_WEIGHTS]
|
||||
)
|
||||
|
||||
|
||||
@dataclass(frozen=True, slots=True)
|
||||
class Orders:
|
||||
"""Заказы одного модельного дня: ряды одной длины, по элементу на заказ.
|
||||
|
||||
Порядок — порядок рождения заказов, он же возрастание `order_id`. День
|
||||
рождения заказа — `day`: строка в базе источника создаётся синхронно с
|
||||
покупкой, поэтому день создания строки и день покупки совпадают.
|
||||
"""
|
||||
|
||||
day: int
|
||||
order_id: tuple[str, ...]
|
||||
# Пользователь магазина: тот же человек, что стоит за купившей кукой.
|
||||
user_id: NDArray[np.uint64]
|
||||
# Позиции заказа: номера товаров каталога и штуки, ячейка на заказ.
|
||||
product: tuple[NDArray[np.int64], ...]
|
||||
quantity: tuple[NDArray[np.int64], ...]
|
||||
# Деньги заказа, целые копейки.
|
||||
items_total: NDArray[np.int64]
|
||||
discount: NDArray[np.int64]
|
||||
delivery: NDArray[np.int64]
|
||||
total: NDArray[np.int64]
|
||||
|
||||
def __len__(self) -> int:
|
||||
return self.user_id.size
|
||||
|
||||
|
||||
def of_day(seed: int, day: int, purchases: Purchases) -> Orders:
|
||||
"""Заказы дня `day`: его покупки, к которым бэкенд добавил свои деньги."""
|
||||
rng = day_stream(seed, day, Component.ORDERS)
|
||||
delivery = _delivery(rng, len(purchases))
|
||||
discount = _discount(purchases)
|
||||
return Orders(
|
||||
day=day,
|
||||
order_id=purchases.order_id,
|
||||
user_id=purchases.person_id,
|
||||
product=purchases.product,
|
||||
quantity=purchases.quantity,
|
||||
items_total=purchases.revenue,
|
||||
discount=discount,
|
||||
delivery=delivery,
|
||||
total=purchases.revenue - discount + delivery,
|
||||
)
|
||||
|
||||
|
||||
def _delivery(rng: np.random.Generator, orders: int) -> NDArray[np.int64]:
|
||||
"""Стоимость доставки каждого заказа дня — броском по таблице весов."""
|
||||
return _DELIVERY_PRICE[pick(rng, _DELIVERY_CUMULATIVE, orders)]
|
||||
|
||||
|
||||
def _discount(purchases: Purchases) -> NDArray[np.int64]:
|
||||
"""Скидка каждого заказа: процент промокода от суммы позиций, вниз.
|
||||
|
||||
Броска здесь нет: код выбрал посетитель, и он уже уехал в событие —
|
||||
бэкенду остаётся прочитать таблицу. Заказ без кода скидки не получает,
|
||||
а спорную копейку округление оставляет магазину.
|
||||
"""
|
||||
percent = np.array(
|
||||
[_DISCOUNT_PERCENT[code] if code else 0 for code in purchases.coupon],
|
||||
dtype=np.int64,
|
||||
)
|
||||
return purchases.revenue * percent // 100
|
||||
@@ -16,6 +16,9 @@
|
||||
каждая из двух кук обязана оформить заказ;
|
||||
- паспорт куки — устройство и город: они у куки одни и те же во всех её
|
||||
днях, а знает об этом только план (у пары один город на двоих);
|
||||
- личность — `person_id` человека за кукой: у двух кук пары он один, и
|
||||
заказ бэкенда показывает его как `user_id`
|
||||
(docs/architecture/orders/identity.md);
|
||||
- счётчики — приток по дням, дневная и накопленная аудитория, пары.
|
||||
|
||||
Единица дня здесь — день активности куки, а не визит: слово «визит»
|
||||
@@ -92,6 +95,8 @@ class Cohort:
|
||||
# Паспорт куки: номер профиля устройства и номер города в справочниках.
|
||||
device: NDArray[np.int64]
|
||||
city: NDArray[np.int64]
|
||||
# Человек за кукой: непрозрачный ID, одинаковый у двух кук пары.
|
||||
person_id: NDArray[np.uint64]
|
||||
|
||||
def __post_init__(self) -> None:
|
||||
"""Когорта запоминается, поэтому массивы отдаются только на чтение.
|
||||
@@ -132,6 +137,7 @@ class Cohort:
|
||||
assigned_order=np.isin(here, ordering),
|
||||
device=self.device[here],
|
||||
city=self.city[here],
|
||||
person_id=self.person_id[here],
|
||||
)
|
||||
|
||||
|
||||
@@ -147,6 +153,8 @@ class DayAudience:
|
||||
# Паспорт куки: номера строк в справочниках устройств и городов.
|
||||
device: NDArray[np.int64]
|
||||
city: NDArray[np.int64]
|
||||
# Человек за кукой: его заказ покажет этот ID как `user_id`.
|
||||
person_id: NDArray[np.uint64]
|
||||
|
||||
|
||||
@dataclass(frozen=True, slots=True)
|
||||
@@ -200,8 +208,11 @@ def cohort(seed: int, day: int) -> Cohort:
|
||||
rng, twins, active_cookie, active_day, cookies
|
||||
)
|
||||
# Паспорт бросается последним — после всего, что уже измерено: тогда
|
||||
# счётчики канонического мира от этой добавки не двигаются.
|
||||
# счётчики канонического мира от этой добавки не двигаются. По тому же
|
||||
# правилу за ним приписана личность: этап 3 дописал её в конец, и куки,
|
||||
# пары и паспорта остались теми же до байта.
|
||||
device, city = _passports(rng, twins, cookies)
|
||||
person_id = _persons(rng, twins, people, cookies)
|
||||
return Cohort(
|
||||
day=day,
|
||||
people=people,
|
||||
@@ -214,6 +225,7 @@ def cohort(seed: int, day: int) -> Cohort:
|
||||
pair_order_days=pair_order_days,
|
||||
device=device,
|
||||
city=city,
|
||||
person_id=person_id,
|
||||
)
|
||||
|
||||
|
||||
@@ -234,6 +246,7 @@ def audience(seed: int, day: int) -> DayAudience:
|
||||
assigned_order=np.concatenate([part.assigned_order for part in parts]),
|
||||
device=np.concatenate([part.device for part in parts]),
|
||||
city=np.concatenate([part.city for part in parts]),
|
||||
person_id=np.concatenate([part.person_id for part in parts]),
|
||||
)
|
||||
|
||||
|
||||
@@ -364,3 +377,22 @@ def _passports(
|
||||
pick(rng, _DEVICE_HALF_CUMULATIVE[half], here.size)
|
||||
]
|
||||
return device, city
|
||||
|
||||
|
||||
def _persons(
|
||||
rng: np.random.Generator, twins: NDArray[np.int64], people: int, cookies: int
|
||||
) -> NDArray[np.uint64]:
|
||||
"""Человек за каждой кукой: у двух кук пары ID один и тот же.
|
||||
|
||||
Личность — минимальная форма отношения «кука принадлежит человеку», и
|
||||
знает его только план: заказ спрашивает и показывает то же число как
|
||||
`user_id`, а в кликстрим оно не попадает вовсе
|
||||
(docs/architecture/orders/identity.md). Значение непрозрачное и живёт
|
||||
ниже 2^53 — тот же потолок, что у куки: выше JSON округляет при разборе.
|
||||
"""
|
||||
person_id = np.empty(cookies, dtype=np.uint64)
|
||||
person_id[:people] = rng.integers(1, ids.LIMIT, people, dtype=np.uint64)
|
||||
# Вторая кука пары повторяет ID своего человека: заказы с двух кук —
|
||||
# это и есть склейка, ради которой пары заведены.
|
||||
person_id[twins[:, 1]] = person_id[twins[:, 0]]
|
||||
return person_id
|
||||
|
||||
@@ -7,7 +7,7 @@
|
||||
│ ├── ось → номер дня: когорта этого дня
|
||||
│ └── предыстория → глубина: когорта дня до D0
|
||||
└── дни
|
||||
└── номер дня → трафик, торговля, расхождения, опоздания
|
||||
└── номер дня → трафик, торговля, заказная сторона, опоздания
|
||||
|
||||
Механизм — `numpy.random.SeedSequence`: потомок полностью определяется парой
|
||||
(зерно, позиция в дереве), а не порядком вычислений. Сверено через Context7
|
||||
@@ -35,7 +35,14 @@ class Component(IntEnum):
|
||||
|
||||
TRAFFIC = 0
|
||||
COMMERCE = 1
|
||||
DISCREPANCIES = 2
|
||||
# Заказная сторона: деньги магазина и судьба заказа. Ветвится по дню
|
||||
# рождения заказа — слепок несёт семь дней рождения сразу, и судьбу
|
||||
# каждого заказа читает из его собственного дня
|
||||
# (docs/architecture/orders/fate.md).
|
||||
ORDERS = 2
|
||||
# Событийную сторону — потерю и дубль события — заведёт этап 6; до тех
|
||||
# пор позиция занята мёртвым именем прежней нарезки, и из него никто не
|
||||
# бросает.
|
||||
LATECOMERS = 3
|
||||
|
||||
|
||||
|
||||
@@ -31,6 +31,13 @@ COUNTER_TIMEZONE_MINUTES = 240 # Europe/Samara
|
||||
# зависит — иначе опись перестала бы быть воспроизводимой.
|
||||
ORIGIN = date(2026, 6, 1)
|
||||
|
||||
# Окно изменяемости заказа, модельные дни: слепок бэкенда несёт заказы,
|
||||
# рождённые в последние K дней, а за окном заказ неизменяем — выручка дня
|
||||
# «дышит» K дней и потом замерзает (мастер-спека, раздел 2). Стоит рядом с
|
||||
# D0 и поясом: это такое же свойство модельного времени, и собирает по нему
|
||||
# окно команда слепка (#92).
|
||||
ORDER_WINDOW_DAYS = 7
|
||||
|
||||
# Приток: сколько новых людей приходит в мир в средний день. Каждый приводит
|
||||
# свою куку, поэтому число это же — приток кук; вторые куки двухкуковых пар
|
||||
# добавляют к нему меньше процента.
|
||||
@@ -224,3 +231,17 @@ COUPONS = (
|
||||
# так и бывает (мастер-спека, раздел 1.2).
|
||||
GOAL_CART_ID = 42150001
|
||||
GOAL_PURCHASE_ID = 42150002
|
||||
|
||||
# --- Числа заказов бэкенда: деньги магазина -------------------------------
|
||||
|
||||
# Стоимость доставки: пары «копейки — вес». Бесплатно (самовывоз или акция),
|
||||
# обычная курьерская, срочная. Это единственные деньги заказа, которых нет
|
||||
# ни в одном событии: выручка клиента — сумма позиций, скидку по промокоду
|
||||
# считает бэкенд по таблице `COUPONS`, а доставку решает свой бросок
|
||||
# заказной стороны. Числа черновые: калибровка — пересборка эталонного
|
||||
# мира, этап 7.
|
||||
DELIVERY_KOPECKS_WEIGHTS = (
|
||||
(0, 35),
|
||||
(29_900, 50),
|
||||
(59_000, 15),
|
||||
)
|
||||
|
||||
@@ -52,19 +52,39 @@ def readable(column: NDArray[Any]) -> list[Any]:
|
||||
return column.tolist()
|
||||
|
||||
|
||||
def orders(events: day.Day) -> list[list[Any]]:
|
||||
"""Заказы дня в сравнимом виде: строка на заказ, все его поля."""
|
||||
theirs = events.orders
|
||||
return [
|
||||
[
|
||||
theirs.order_id[number],
|
||||
int(theirs.user_id[number]),
|
||||
theirs.product[number].tolist(),
|
||||
theirs.quantity[number].tolist(),
|
||||
int(theirs.items_total[number]),
|
||||
int(theirs.discount[number]),
|
||||
int(theirs.delivery[number]),
|
||||
int(theirs.total[number]),
|
||||
]
|
||||
for number in range(len(theirs))
|
||||
]
|
||||
|
||||
|
||||
def snapshot(events: day.Day) -> dict[str, Any]:
|
||||
"""Слепок дня для сравнений: всё, что день отдал наружу.
|
||||
|
||||
Порядок колонок в слепке живёт отдельным списком: словари сравниваются
|
||||
без оглядки на него, а порядок — часть обещания (он же порядок
|
||||
контракта схемы). Швы `page` и `product` — тоже часть отдаваемого, и
|
||||
сторожить их надо тем же слепком, а не отдельной памятью.
|
||||
контракта схемы). Швы `page` и `product` — тоже часть отдаваемого, как
|
||||
и вторая половина дня, заказы: сторожить их надо тем же слепком, а не
|
||||
отдельной памятью.
|
||||
"""
|
||||
return {
|
||||
"order": list(events.columns),
|
||||
"values": [readable(column) for column in events.columns.values()],
|
||||
"page": events.page.tolist(),
|
||||
"product": events.product.tolist(),
|
||||
"orders": orders(events),
|
||||
}
|
||||
|
||||
|
||||
@@ -91,6 +111,7 @@ def test_the_snapshot_notices_everything_the_day_hands_out(weekday: day.Day):
|
||||
columns=dict(reversed(list(weekday.columns.items()))),
|
||||
page=weekday.page,
|
||||
product=weekday.product,
|
||||
orders=weekday.orders,
|
||||
)
|
||||
assert snapshot(reordered) != original
|
||||
|
||||
@@ -101,6 +122,12 @@ def test_the_snapshot_notices_everything_the_day_hands_out(weekday: day.Day):
|
||||
shifted[0] += 1
|
||||
assert snapshot(replace(weekday, page=shifted)) != original
|
||||
|
||||
paid = weekday.orders.total.copy()
|
||||
paid[0] += 1
|
||||
assert snapshot(replace(weekday, orders=replace(weekday.orders, total=paid))) != (
|
||||
original
|
||||
)
|
||||
|
||||
|
||||
def test_a_day_is_a_pure_function_of_the_seed_and_the_day():
|
||||
first = snapshot(day.stream(CANONICAL_SEED, 3))
|
||||
|
||||
@@ -0,0 +1,203 @@
|
||||
"""Заказы бэкенда: проекция покупки, деньги магазина и мост к склейке.
|
||||
|
||||
Заказ здесь ещё без судьбы — статуса, моментов и дельты (тикет #91): всё,
|
||||
что проверяется, это согласие двух источников по построению. Поэтому и
|
||||
сверяется заказ не с внутренней структурой торговой половины (это было бы
|
||||
сверкой кода с самим собой), а с событием, которое уехало в трекер.
|
||||
|
||||
Чистота заказов от зерна и дня сторожится там же, где чистота событий, —
|
||||
слепком дня в `test_day.py`: заказы день отдаёт наружу наравне с потоком.
|
||||
"""
|
||||
|
||||
from typing import Any
|
||||
|
||||
import numpy as np
|
||||
import pytest
|
||||
from numpy.typing import NDArray
|
||||
|
||||
from clickstream_generator import catalog, commerce, day, orders, plan, schema, world
|
||||
from clickstream_generator.seeds import CANONICAL_SEED, Component
|
||||
|
||||
WEEKDAY = 2
|
||||
WEEK = 7
|
||||
|
||||
|
||||
@pytest.fixture(autouse=True)
|
||||
def fresh_memo():
|
||||
"""Когорты запоминаются; тесты сравнивают вычисления, а не ссылки."""
|
||||
plan.cohort.cache_clear()
|
||||
|
||||
|
||||
@pytest.fixture(scope="module")
|
||||
def weekday() -> day.Day:
|
||||
return day.stream(CANONICAL_SEED, WEEKDAY)
|
||||
|
||||
|
||||
@pytest.fixture(scope="module")
|
||||
def week() -> list[day.Day]:
|
||||
"""Неделя мира: назначенные пары покупают в разные дни."""
|
||||
return [day.stream(CANONICAL_SEED, number) for number in range(WEEK)]
|
||||
|
||||
|
||||
def purchases_of(events: day.Day) -> dict[str, NDArray[Any]]:
|
||||
"""Строки покупок дня — колонками, в порядке потока."""
|
||||
here = events.columns["EventType"] == commerce.PURCHASE
|
||||
return {name: value[here] for name, value in events.columns.items()}
|
||||
|
||||
|
||||
def user_id_by_order(events: day.Day) -> dict[str, int]:
|
||||
return dict(
|
||||
zip(events.orders.order_id, events.orders.user_id.tolist(), strict=True)
|
||||
)
|
||||
|
||||
|
||||
def test_every_order_of_the_day_is_a_purchase_of_the_day(weekday: day.Day):
|
||||
"""Заказ — вторая проекция покупки, а не второе порождение.
|
||||
|
||||
У всякого заказа ровно одно событие `purchase`, и номер у них один:
|
||||
сойтись двум источникам больше негде — сверка стенда соединяется
|
||||
именно по нему.
|
||||
"""
|
||||
events = purchases_of(weekday)
|
||||
numbers = [cell[0] for cell in events["purchaseID"]]
|
||||
assert len(numbers) > 100
|
||||
assert list(weekday.orders.order_id) == numbers
|
||||
|
||||
|
||||
def test_the_order_repeats_the_basket_and_the_money_of_its_purchase(weekday: day.Day):
|
||||
"""Корзина и деньги клиента у заказа те же — он их не пересчитывает."""
|
||||
goods = catalog.catalog()
|
||||
events = purchases_of(weekday)
|
||||
for number, order in enumerate(weekday.orders.order_id):
|
||||
assert order == events["purchaseID"][number][0]
|
||||
items = weekday.orders.product[number]
|
||||
assert [goods.sku[item] for item in items.tolist()] == (
|
||||
events["productID"][number].tolist()
|
||||
)
|
||||
assert weekday.orders.quantity[number].tolist() == (
|
||||
events["productQuantity"][number].tolist()
|
||||
)
|
||||
# Выручка клиента и `items_total` бэкенда — одно число: в событии
|
||||
# оно дробное, у заказа целое в копейках.
|
||||
assert weekday.orders.items_total[number] == round(
|
||||
events["purchaseRevenue"][number][0] * commerce.KOPECKS
|
||||
)
|
||||
|
||||
|
||||
def test_the_discount_comes_from_the_coupon_of_the_event(weekday: day.Day):
|
||||
"""Промокод в событии обязан обернуться скидкой — иначе данные соврут."""
|
||||
percent = dict(world.COUPONS)
|
||||
events = purchases_of(weekday)
|
||||
codes = [cell[0] for cell in events["purchaseCoupon"]]
|
||||
assert sum(1 for code in codes if code) > 10
|
||||
|
||||
for number, code in enumerate(codes):
|
||||
total = int(weekday.orders.items_total[number])
|
||||
expected = total * percent[code] // 100 if code else 0
|
||||
assert weekday.orders.discount[number] == expected
|
||||
# Скидка без кода не берётся ниоткуда, а с кодом не съедает заказ.
|
||||
assert np.all(weekday.orders.discount < weekday.orders.items_total)
|
||||
|
||||
|
||||
def test_the_money_of_an_order_adds_up(weekday: day.Day):
|
||||
"""`total` = `items_total` − `discount` + `delivery`, целыми копейками."""
|
||||
money = weekday.orders
|
||||
assert np.array_equal(
|
||||
money.total, money.items_total - money.discount + money.delivery
|
||||
)
|
||||
for column in (money.items_total, money.discount, money.delivery, money.total):
|
||||
assert np.issubdtype(column.dtype, np.integer)
|
||||
assert np.all(column >= 0)
|
||||
|
||||
prices = {price for price, _ in world.DELIVERY_KOPECKS_WEIGHTS}
|
||||
assert set(money.delivery.tolist()) == prices
|
||||
# Доставка — деньги, которых нет ни в одном событии: без неё «считаем по
|
||||
# бэкенду» ничего не значило бы.
|
||||
assert np.any(money.total != money.items_total - money.discount)
|
||||
|
||||
|
||||
def test_the_order_side_draws_from_its_own_named_branch(
|
||||
monkeypatch: pytest.MonkeyPatch,
|
||||
):
|
||||
"""Заказная сторона берёт свой подпоток и ветвится по дню рождения заказа.
|
||||
|
||||
Адрес в дереве зерна и есть контракт компонента (спека генератора,
|
||||
раздел 2): правка заказной механики не двигает ни трафик, ни торговлю,
|
||||
а слепок читает судьбу заказа из дня, в который заказ родился.
|
||||
"""
|
||||
asked: list[tuple[int, int, Component]] = []
|
||||
honest = orders.day_stream
|
||||
|
||||
def spy(seed: int, day_number: int, component: Component):
|
||||
asked.append((seed, day_number, component))
|
||||
return honest(seed, day_number, component)
|
||||
|
||||
monkeypatch.setattr(orders, "day_stream", spy)
|
||||
day.stream(CANONICAL_SEED, WEEKDAY)
|
||||
assert asked == [(CANONICAL_SEED, WEEKDAY, Component.ORDERS)]
|
||||
|
||||
|
||||
def test_the_user_id_is_the_person_behind_the_cookie(weekday: day.Day):
|
||||
"""Личность заказу даёт план, а не разбор трекера."""
|
||||
audience = plan.audience(CANONICAL_SEED, WEEKDAY)
|
||||
person = dict(
|
||||
zip(audience.client_id.tolist(), audience.person_id.tolist(), strict=True)
|
||||
)
|
||||
events = purchases_of(weekday)
|
||||
for number, cookie in enumerate(events["ClientID"].tolist()):
|
||||
assert weekday.orders.user_id[number] == person[cookie]
|
||||
assert np.all(weekday.orders.user_id > 0)
|
||||
assert weekday.orders.user_id.max() < 2**53
|
||||
|
||||
|
||||
def test_both_cookies_of_a_pair_order_as_one_user(week: list[day.Day]):
|
||||
"""Мост к склейке: заказы с двух кук пары несут один `user_id`.
|
||||
|
||||
Проверяются пары, у которых оба назначенных дня попали внутрь недели:
|
||||
остальные ждут своего дня за горизонтом.
|
||||
"""
|
||||
users: list[dict[int, set[int]]] = []
|
||||
for events in week:
|
||||
by_order = user_id_by_order(events)
|
||||
rows = purchases_of(events)
|
||||
seen: dict[int, set[int]] = {}
|
||||
for cookie, number in zip(
|
||||
rows["ClientID"].tolist(),
|
||||
(cell[0] for cell in rows["purchaseID"]),
|
||||
strict=True,
|
||||
):
|
||||
seen.setdefault(cookie, set()).add(by_order[number])
|
||||
users.append(seen)
|
||||
|
||||
pairs = 0
|
||||
for born in range(-world.RETURN_TAIL_DAYS, WEEK):
|
||||
cohort = plan.cohort(CANONICAL_SEED, born)
|
||||
for cookies, days in zip(
|
||||
cohort.pair_cookies.tolist(), cohort.pair_order_days.tolist(), strict=True
|
||||
):
|
||||
if max(days) >= WEEK:
|
||||
continue
|
||||
pairs += 1
|
||||
first, second = (
|
||||
users[day_number][int(cohort.client_id[cookie])]
|
||||
for cookie, day_number in zip(cookies, days, strict=True)
|
||||
)
|
||||
assert len(first | second) == 1
|
||||
assert pairs > 10
|
||||
|
||||
|
||||
def test_the_user_id_never_reaches_the_metrica_event(weekday: day.Day):
|
||||
"""Кликстрим анонимен: личность держится формой контракта, а не забывчивостью.
|
||||
|
||||
Проверяются числовые колонки события целиком: личность — число того же
|
||||
порядка, что кука и номер события, и попасть она могла бы только в
|
||||
такую. Имени для неё в контракте нет вовсе.
|
||||
"""
|
||||
people = set(plan.audience(CANONICAL_SEED, WEEKDAY).person_id.tolist())
|
||||
assert people
|
||||
names = {column.name.lower() for column in schema.COLUMNS}
|
||||
assert not (names & {"userid", "user_id", "personid", "person_id"})
|
||||
for name, value in weekday.columns.items():
|
||||
if np.issubdtype(value.dtype, np.integer):
|
||||
assert not (set(value.tolist()) & people), name
|
||||
assert set(weekday.orders.user_id.tolist()) <= people
|
||||
@@ -43,6 +43,7 @@ def same_cohort(left: plan.Cohort, right: plan.Cohort) -> bool:
|
||||
and np.array_equal(left.pair_order_days, right.pair_order_days)
|
||||
and np.array_equal(left.device, right.device)
|
||||
and np.array_equal(left.city, right.city)
|
||||
and np.array_equal(left.person_id, right.person_id)
|
||||
)
|
||||
|
||||
|
||||
@@ -175,6 +176,33 @@ def test_the_passport_of_a_pair_is_one_person_with_two_devices():
|
||||
assert np.all(phone[cohort.device[first]] != phone[cohort.device[second]])
|
||||
|
||||
|
||||
def test_two_cookies_of_a_pair_are_one_person():
|
||||
"""Мост к склейке: у пары один `person_id`, у остальных — свой.
|
||||
|
||||
Значение непрозрачное и живёт ниже 2^53, как `ClientID`: выше JSON
|
||||
округляет при разборе, а заказ повезёт его числом.
|
||||
"""
|
||||
cohort = plan.cohort(CANONICAL_SEED, 0)
|
||||
first, second = cohort.pair_cookies[:, 0], cohort.pair_cookies[:, 1]
|
||||
assert cohort.pairs > 0
|
||||
assert np.array_equal(cohort.person_id[first], cohort.person_id[second])
|
||||
|
||||
# Люди когорты — это первые куки: у них личность своя у каждого, а всего
|
||||
# разных личностей в когорте ровно столько, сколько людей.
|
||||
people = cohort.person_id[: cohort.people]
|
||||
assert len(set(people.tolist())) == cohort.people
|
||||
assert len(set(cohort.person_id.tolist())) == cohort.people
|
||||
assert cohort.person_id.min() > 0
|
||||
assert cohort.person_id.max() < 2**53
|
||||
|
||||
|
||||
def test_the_day_audience_knows_the_person_behind_a_cookie():
|
||||
"""День спрашивает личность у плана — больше её знать неоткуда."""
|
||||
audience = plan.audience(CANONICAL_SEED, 5)
|
||||
assert audience.person_id.size == audience.client_id.size
|
||||
assert np.all(audience.person_id > 0)
|
||||
|
||||
|
||||
def test_the_passport_points_into_the_directories():
|
||||
cohort = plan.cohort(CANONICAL_SEED, 0)
|
||||
for passport, table in (
|
||||
@@ -278,5 +306,6 @@ def test_plan_arrays_are_whole_numbers():
|
||||
cohort.active_day,
|
||||
cohort.pair_cookies,
|
||||
cohort.pair_order_days,
|
||||
cohort.person_id,
|
||||
):
|
||||
assert np.issubdtype(array.dtype, np.integer)
|
||||
|
||||
@@ -77,7 +77,7 @@ def test_day_components_do_not_share_randomness():
|
||||
components = (
|
||||
Component.TRAFFIC,
|
||||
Component.COMMERCE,
|
||||
Component.DISCREPANCIES,
|
||||
Component.ORDERS,
|
||||
Component.LATECOMERS,
|
||||
)
|
||||
assert len({int(component) for component in components}) == 4
|
||||
|
||||
Reference in New Issue
Block a user