ddadminandClaude Fable 5.1
59d8c83b17
- Зачем:
- справочники читает человек со стороны, а «пульт мира», «опись мира»,
«работник» и «сырьё» звучали шуткой или калькой времён разработки
(тикет #214, выбор владельца).
- Что:
- CONTEXT.md: статьи «Паспорт мира», «Даги модельного времени»,
«Шаговый даг», «Сырые данные», старые слова в строках «Избегать»;
пометки в ADR 0005, 0008, 0009 без переписывания решений.
- замены по README, справочникам, путеводителю, лабам, спекам,
комментариям дагов и SQL, тегу дага и панели Grafana; имена в коде
не тронуты.
- world.md и stand.md: 35 находок вычитки внесены, регистр выровнен.
- Проверка:
- make config-test; make lint в корне и в generator/; make test в
generator/ (437 passed); скрипт ссылок из #212 пуст; grep старых
слов вне ADR, research и CONTEXT.md пуст.
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_014QBCtU38qSHg5DvgtnKXcW
28 lines
1.5 KiB
SQL
28 lines
1.5 KiB
SQL
-- Забор порции слепка заказов из Kafka в STG.
|
|
--
|
|
-- Забор — один прямой SELECT, без цикла до пустоты: одна порция ClickHouse
|
|
-- берёт десятки тысяч сообщений, а слепок дня — порядка полутора тысяч строк.
|
|
-- Короткая порция оставит хвост до следующего прогона, а отказ после чтения
|
|
-- унесёт прочитанное с собой: офсеты коммитятся в момент чтения. Граница
|
|
-- целиком — ADR 0008, «Следствия».
|
|
--
|
|
-- stream_like_engine_allow_direct_select разрешает читать чтеца запросом; вторая
|
|
-- половина пары объявлена на самой таблице (sql/ddl/10-stg-tables.sql).
|
|
-- distributed_foreground_insert = 1 — конвенция ETL-вставок стенда: задача не
|
|
-- должна зеленеть раньше, чем строки легли на шарды.
|
|
|
|
INSERT INTO stg.orders_raw_dist
|
|
SELECT
|
|
raw,
|
|
_topic AS kafka_topic,
|
|
_partition AS kafka_partition,
|
|
_offset AS kafka_offset,
|
|
_timestamp_ms AS kafka_timestamp,
|
|
hostName() AS consumer_host,
|
|
{load_id:String} AS _load_id,
|
|
now64(3) AS _load_ts
|
|
FROM stg.orders_raw_kafka
|
|
SETTINGS
|
|
stream_like_engine_allow_direct_select = 1,
|
|
distributed_foreground_insert = 1
|