docs(ingestion): упрощены объяснения источников и приема данных
Зачем: помочь начинающему инженеру проследить событие и версию заказа от генератора до хранилища, включая ошибки и повторные поступления. Что: обновлены вводная генератора, справочники приема и модели заказа, разделы хранилища и комментарии SQL и дага. Сохранены технические условия; исполняемый код, схемы и поведение стенда не изменены. Проверка: make lint, git diff --check, 142 локальные ссылки и справка CLI. SQL без комментариев и Python AST без строк документации совпали с исходными. Генерация данных и сброс состояния не выполнялись. Refs #250
This commit is contained in:
1 parent
83434102d5
commit
75f28fe99f
13 files changed
+663
-974
No files matched your search
@@ -1,15 +1,11 @@
|
||||
-- Забор порции слепка заказов из Kafka в STG.
|
||||
-- Порция сообщений заказов из Kafka в STG, без разбора JSON.
|
||||
-- Один SELECT читает одну порцию; непрочитанное остается до следующего запуска.
|
||||
-- Полнота слепка не проверяется. Если после чтения вставка упадет, подтвержденные
|
||||
-- сообщения уже не перечитаются (docs/architecture/orders/ingestion.md).
|
||||
--
|
||||
-- Забор — один прямой SELECT, без цикла до пустоты: одна порция ClickHouse
|
||||
-- берёт десятки тысяч сообщений, а слепок дня — порядка полутора тысяч строк.
|
||||
-- Короткая порция оставит хвост до следующего прогона, а отказ после чтения
|
||||
-- унесёт прочитанное с собой: офсеты коммитятся в момент чтения. Граница
|
||||
-- целиком — ADR 0008, «Следствия».
|
||||
--
|
||||
-- stream_like_engine_allow_direct_select разрешает читать чтеца запросом; вторая
|
||||
-- половина пары объявлена на самой таблице (sql/ddl/10-stg-tables.sql).
|
||||
-- distributed_foreground_insert = 1 — конвенция ETL-вставок стенда: задача не
|
||||
-- должна зеленеть раньше, чем строки легли на шарды.
|
||||
-- stream_like_engine_allow_direct_select разрешает прямое чтение Kafka;
|
||||
-- kafka_commit_on_select включен в sql/ddl/10-stg-tables.sql.
|
||||
-- distributed_foreground_insert = 1 ждет записи на шарды до завершения задачи.
|
||||
|
||||
INSERT INTO stg.orders_raw_dist
|
||||
SELECT
|
||||
|
||||
Reference in new issue
Block a user