docs(glossary): четыре термина переименованы, world.md и stand.md вычитаны
- Зачем:
- справочники читает человек со стороны, а «пульт мира», «опись мира»,
«работник» и «сырьё» звучали шуткой или калькой времён разработки
(тикет #214, выбор владельца).
- Что:
- CONTEXT.md: статьи «Паспорт мира», «Даги модельного времени»,
«Шаговый даг», «Сырые данные», старые слова в строках «Избегать»;
пометки в ADR 0005, 0008, 0009 без переписывания решений.
- замены по README, справочникам, путеводителю, лабам, спекам,
комментариям дагов и SQL, тегу дага и панели Grafana; имена в коде
не тронуты.
- world.md и stand.md: 35 находок вычитки внесены, регистр выровнен.
- Проверка:
- make config-test; make lint в корне и в generator/; make test в
generator/ (437 passed); скрипт ссылок из #212 пуст; grep старых
слов вне ADR, research и CONTEXT.md пуст.
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_014QBCtU38qSHg5DvgtnKXcW
This commit is contained in:
1 parent
86ad8afaf2
commit
59d8c83b17
54 files changed
+794
-776
No files matched your search
@@ -19,23 +19,23 @@
|
||||
## Почему слои у панелей разные
|
||||
|
||||
Свежесть спрашивают у ODS. Это слой, который читают, и у заказов дорога до него
|
||||
длиннее: сырьё привозит забор, а типизированную строку кладёт разбор. Встань
|
||||
разбор — свежесть ODS это покажет, свежесть сырья нет.
|
||||
длиннее: в STG данные привозит забор, а типизированную строку кладёт разбор.
|
||||
Встань разбор — свежесть ODS это покажет, а свежесть STG — нет.
|
||||
|
||||
Читает свежесть физическую `_dist`, а не каноническое `ods.*_v`. Представление
|
||||
прячет за собой `FINAL` и отвечает про текущее состояние сущностей, а вопрос
|
||||
здесь про доставку. Местом диагностики доставленных версий физическая таблица
|
||||
названа там же, где заведено представление (`sql/ddl/30-ods-views.sql`).
|
||||
|
||||
Поток и брак считаются по слою сырья. Сырьё записывает каждую доставку и ничего
|
||||
не схлопывает, а `ReplacingMergeTree` в ODS схлопнет и повтор доставки события,
|
||||
и все версии одного заказа. Считай мы поток по ODS — он занизился бы, и тем
|
||||
Поток и брак считаются по сырому слою. Он хранит каждую доставку и ничего не
|
||||
схлопывает, а `ReplacingMergeTree` в ODS схлопнет и повтор доставки события, и
|
||||
все версии одного заказа. Считай мы поток по ODS — он занизился бы, и тем
|
||||
сильнее, чем дольше живёт стенд.
|
||||
|
||||
Доля брака берётся от приехавшего, а не от суммы «годные плюс брак»: брак не
|
||||
отдельная куча, а часть сырья, которая не прошла разбор.
|
||||
отдельная куча, а часть сырых данных, которая не прошла разбор.
|
||||
|
||||
Окно у панели брака — окно дашборда, и это не косметика. Сырьё живёт трое
|
||||
Окно у панели брака — окно дашборда, и это не косметика. Сырые данные живут трое
|
||||
суток, а брак — месяц: доля за всё время делила бы месяц брака на трое суток
|
||||
приехавшего и однажды перевалила бы за сотню процентов.
|
||||
|
||||
@@ -51,7 +51,7 @@
|
||||
укладываются в минуты реального времени, и соседние дни мира помещаются в одно
|
||||
окно панели сами.
|
||||
|
||||
## Приземлившееся считают по слою сырья
|
||||
## Приземлившееся считают в сыром слое
|
||||
|
||||
Приземлившееся панели считают по `stg.*_raw_dist`, произведённое — по метрикам
|
||||
экспортёра. Таблицы движка Kafka `stg.hits_raw_kafka` и `stg.orders_raw_kafka`
|
||||
@@ -66,7 +66,7 @@
|
||||
Kafka» приходит из Prometheus, ряд «приземлилось в ClickHouse» — из ClickHouse.
|
||||
Единицы общие: сообщения за интервал панели. Со стороны Kafka это разность
|
||||
офсетов топика, «сейчас минус интервал назад», с суммой по обеим партициям; со
|
||||
стороны ClickHouse — `count()` строк сырья по тому же интервалу.
|
||||
стороны ClickHouse — `count()` строк STG по тому же интервалу.
|
||||
|
||||
Два соседних способа отвергнуты, и оба по замеру на живом стенде. `increase`
|
||||
растягивает приращение на всё окно и на минутном интервале промахивается на
|
||||
@@ -87,11 +87,11 @@ Kafka» приходит из Prometheus, ряд «приземлилось в C
|
||||
Kafka идёт чуть выше. Читать надо устойчивый разрыв между линиями; разница в
|
||||
один столбец не значит ничего.
|
||||
|
||||
Панель смотрит на топик событий. У него приём непрерывный, и разрыв виден
|
||||
сразу. Слепок заказов уезжает пачкой раз в модельные сутки, и вопрос к нему
|
||||
другой — не «сходится ли поток», а «доехала ли выгрузка и вовремя ли». На него
|
||||
отвечает своя панель, и модельный день она берёт из самого сообщения: в сырьё
|
||||
он приезжает полем `snapshot_date`.
|
||||
Панель смотрит на топик событий. У него приём непрерывный, и разрыв виден сразу.
|
||||
Слепок заказов уезжает пачкой раз в модельные сутки, и вопрос к нему другой — не
|
||||
«сходится ли поток», а «доехала ли выгрузка и вовремя ли». На него отвечает своя
|
||||
панель, и модельный день она берёт из самого сообщения: в STG он приезжает полем
|
||||
`snapshot_date`.
|
||||
|
||||
## Что проверено
|
||||
|
||||
|
||||
Reference in new issue
Block a user