ddmitry/clickstream-data-platform
1
0 Fork 0
Code Issues 5 Pull Requests Actions Packages Projects 1 Releases Wiki Activity

ТЗ ступени 7 «Мониторинг: куда смотреть» #242

New Issue
Closed
opened 2026-09-07 11:18:41 +03:00 by ddmitry · 2 comments
ddmitry commented 2026-09-07 11:18:41 +03:00
Owner
Copy link
Copy source

Part of #206

Цель

Написать ТЗ последней ступени основной программы «Мониторинг: куда смотреть».
Урок: найти источник нагрузки по журналу запросов и объяснить свежесть данных
через путь их доставки. Цена чтения — одно короткое ТЗ с двумя расследованиями;
новые службы, проверки и правила стенда для этого не нужны.

Постановка

Создать docs/labs/7-1-monitoring.md и открыть ссылку на него в индексе лаб.
Состав ступени уже принят в программе: знакомство с тремя дашбордами,
расследование стоимости мониторинга и расследование свежести заказов.

В первом расследовании учащийся находит тяжелый запрос Grafana, связывает его
с панелью и объясняет прочитанные строки. Журнал читается с обеих нод;
обсуждается, зачем для счета запросов отделяют начальные записи и работу шардов.
Верх списка зависит от текущей нагрузки: результатом служат реальные запросы
и объяснение, а не требование получить пользователя grafana на первом месте.

Во втором учащийся сначала предсказывает поведение свежести событий и заказов,
затем наблюдает рост и сброс у заказов при доставке слепка. Текущая панель
«Свежесть» имеет тип stat: это число сейчас, истории в ней нет. Достаточно
записать время и значения нескольких наблюдений до и после слепка и набросать
график по ним. Модельный день и реальное время наблюдения следует различить.
Учащийся объясняет выбор ODS для свежести, STG для потока и знаменателя доли
брака, а также общее окно числителя и знаменателя.

Сначала дать учащемуся вопрос и действие; ссылки с готовыми объяснениями
перенести к сверке после собственной попытки. Не дублировать справочники и
не превращать задание в перечень всех панелей. Самостоятельность ступени
сохранить: не выдавать готовый запрос расследования или готовое объяснение.
Практические ориентиры (доступ, нужные колонки, границы наблюдения) допустимы.

Приемка

  • ТЗ включает знакомство с тремя дашбордами и оба расследования из программы.
  • По журналу учащийся сохраняет конкретный запрос, окно наблюдения, пользователя,
    показатели стоимости и соответствующую панель; объясняет границы учета.
  • Наблюдение свежести выполнимо с текущей stat-панелью: есть прогноз,
    рост и сброс, подтверждение доставки слепка и собственное объяснение.
  • Выбор слоев и общего окна доли брака проверяется объяснением учащегося.
  • Предусмотрено начало наблюдения на тихом стенде, без параллельного ручного
    запуска дня при работающем world_live; остановки служб и порча данных не нужны.
  • Индекс лаб ссылается на ТЗ, обещание будущего ТЗ ступени 7 удалено.
  • Ссылки и технические утверждения сверены с JSON панелей, SQL, дагами и
    доступными малыми наблюдениями стенда; выполнены вычитка и ревью Opus.

Границы

Только новое ТЗ и индекс лаб. Не менять программу, дашборды, SQL, даги и данные.
Факультативные поломки и старый долг справочника DM сюда не входят.

Сначала прочитать

  • AGENTS.md, docs/specs/2026-09-01-labs-program.md, раздел о ступени 7;
  • docs/labs/2-1-superset-chart.md, docs/labs/README.md;
  • docs/handbook/monitoring.md, docs/handbook/airflow-dags.md;
  • docs/architecture/monitoring/queries.md, data.md, cluster.md;
  • infra/grafana/provisioning/dashboards/queries.json, data.json;
  • комментарий владельца к карте «Реализация учебной программы: документация стенда и ТЗ лаб».

Проверка

git diff --check; проверка относительных ссылок нового ТЗ и измененной строки
индекса. Адресная сверка имен панелей и запросов с JSON. На живом стенде —
ограниченный SELECT из query_log и просмотр текущей свежести/слепков, без
изменений данных и служб. Если полный цикл наблюдения не снят, назвать это
ограничение в результате проверки. /writing-for-agents, затем /ai-text-lint
и литературная вычитка русского текста. Новые автотесты документа для этой
задачи не нужны.

Уточнение доступа: у analyst нет чтения system.query_log. Основной путь
расследования — существующие панели Grafana с источником ClickHouse под
grafana. Если ТЗ предлагает самостоятельный SQL, оно должно назвать
доступный путь с подходящими правами; выдавать новые права не требуется.

Part of #206 ## Цель Написать ТЗ последней ступени основной программы «Мониторинг: куда смотреть». Урок: найти источник нагрузки по журналу запросов и объяснить свежесть данных через путь их доставки. Цена чтения — одно короткое ТЗ с двумя расследованиями; новые службы, проверки и правила стенда для этого не нужны. ## Постановка Создать `docs/labs/7-1-monitoring.md` и открыть ссылку на него в индексе лаб. Состав ступени уже принят в программе: знакомство с тремя дашбордами, расследование стоимости мониторинга и расследование свежести заказов. В первом расследовании учащийся находит тяжелый запрос Grafana, связывает его с панелью и объясняет прочитанные строки. Журнал читается с обеих нод; обсуждается, зачем для счета запросов отделяют начальные записи и работу шардов. Верх списка зависит от текущей нагрузки: результатом служат реальные запросы и объяснение, а не требование получить пользователя grafana на первом месте. Во втором учащийся сначала предсказывает поведение свежести событий и заказов, затем наблюдает рост и сброс у заказов при доставке слепка. Текущая панель «Свежесть» имеет тип stat: это число сейчас, истории в ней нет. Достаточно записать время и значения нескольких наблюдений до и после слепка и набросать график по ним. Модельный день и реальное время наблюдения следует различить. Учащийся объясняет выбор ODS для свежести, STG для потока и знаменателя доли брака, а также общее окно числителя и знаменателя. Сначала дать учащемуся вопрос и действие; ссылки с готовыми объяснениями перенести к сверке после собственной попытки. Не дублировать справочники и не превращать задание в перечень всех панелей. Самостоятельность ступени сохранить: не выдавать готовый запрос расследования или готовое объяснение. Практические ориентиры (доступ, нужные колонки, границы наблюдения) допустимы. ## Приемка - [x] ТЗ включает знакомство с тремя дашбордами и оба расследования из программы. - [x] По журналу учащийся сохраняет конкретный запрос, окно наблюдения, пользователя, показатели стоимости и соответствующую панель; объясняет границы учета. - [x] Наблюдение свежести выполнимо с текущей stat-панелью: есть прогноз, рост и сброс, подтверждение доставки слепка и собственное объяснение. - [x] Выбор слоев и общего окна доли брака проверяется объяснением учащегося. - [x] Предусмотрено начало наблюдения на тихом стенде, без параллельного ручного запуска дня при работающем world_live; остановки служб и порча данных не нужны. - [x] Индекс лаб ссылается на ТЗ, обещание будущего ТЗ ступени 7 удалено. - [x] Ссылки и технические утверждения сверены с JSON панелей, SQL, дагами и доступными малыми наблюдениями стенда; выполнены вычитка и ревью Opus. ## Границы Только новое ТЗ и индекс лаб. Не менять программу, дашборды, SQL, даги и данные. Факультативные поломки и старый долг справочника DM сюда не входят. ## Сначала прочитать - `AGENTS.md`, `docs/specs/2026-09-01-labs-program.md`, раздел о ступени 7; - `docs/labs/2-1-superset-chart.md`, `docs/labs/README.md`; - `docs/handbook/monitoring.md`, `docs/handbook/airflow-dags.md`; - `docs/architecture/monitoring/queries.md`, `data.md`, `cluster.md`; - `infra/grafana/provisioning/dashboards/queries.json`, `data.json`; - комментарий владельца к карте «Реализация учебной программы: документация стенда и ТЗ лаб». ## Проверка `git diff --check`; проверка относительных ссылок нового ТЗ и измененной строки индекса. Адресная сверка имен панелей и запросов с JSON. На живом стенде — ограниченный SELECT из query_log и просмотр текущей свежести/слепков, без изменений данных и служб. Если полный цикл наблюдения не снят, назвать это ограничение в результате проверки. `/writing-for-agents`, затем `/ai-text-lint` и литературная вычитка русского текста. Новые автотесты документа для этой задачи не нужны. Уточнение доступа: у `analyst` нет чтения `system.query_log`. Основной путь расследования — существующие панели Grafana с источником ClickHouse под `grafana`. Если ТЗ предлагает самостоятельный SQL, оно должно назвать доступный путь с подходящими правами; выдавать новые права не требуется.
ddmitry self-assigned this 2026-09-07 11:18:41 +03:00
ddmitry added the wayfinder:task label 2026-09-07 11:19:00 +03:00
ddmitry commented 2026-09-07 11:55:50 +03:00
Author
Owner
Copy link
Copy source

Опубликован PR «ТЗ ступени 7: мониторинг», коммит 3ec4d79576dc72305cd910e2ab3aa2ba6e8b2586.

Добавлено ТЗ ступени 7 с двумя расследованиями: стоимости запросов Grafana и свежести заказов. Текущие значения свежести учащийся записывает и переносит на эскиз. В индексе лаб открыта ссылка на задание.

Проверены относительные ссылки, git diff --check, SQL и названия панелей, права доступа и порядок дагов. На стенде запрос свежести выполнен от grafana и найден в журнале: 506 688 прочитанных строк на одну строку результата.

Полный рост и сброс свежести не наблюдались: мир давно не обновлялся, сырые слепки удалены по TTL. Данные и службы не менялись.

Финальная узкая перепроверка Opus — APPROVED: OPUS242-01..04 закрыты соразмерными исправлениями, OPUS242-05..06 отклонены обоснованно.

Опубликован [PR «ТЗ ступени 7: мониторинг»](https://git.dementev.space/ddmitry/clickstream-data-platform/pulls/243), коммит `3ec4d79576dc72305cd910e2ab3aa2ba6e8b2586`. Добавлено ТЗ ступени 7 с двумя расследованиями: стоимости запросов Grafana и свежести заказов. Текущие значения свежести учащийся записывает и переносит на эскиз. В индексе лаб открыта ссылка на задание. Проверены относительные ссылки, `git diff --check`, SQL и названия панелей, права доступа и порядок дагов. На стенде запрос свежести выполнен от `grafana` и найден в журнале: 506 688 прочитанных строк на одну строку результата. Полный рост и сброс свежести не наблюдались: мир давно не обновлялся, сырые слепки удалены по TTL. Данные и службы не менялись. Финальная узкая перепроверка Opus — `APPROVED`: OPUS242-01..04 закрыты соразмерными исправлениями, OPUS242-05..06 отклонены обоснованно.
ddmitry commented 2026-09-07 12:17:14 +03:00
Author
Owner
Copy link
Copy source

В PR «ТЗ ступени 7: мониторинг» добавлен коммит ea56314c по замечаниям Fable.

Убрано заранее названное имя пользователя: учащийся сам определяет источник верхнего запроса. Затем он находит запрос открытого дашборда с наибольшим числом прочитанных строк. Буквальный переход от любого верхнего запроса к его панели не принят: у запроса другого клиента панели может не быть. Исправлены все пять замечаний к форме, включая тире.

Проверены ссылки, пробелы и оба случая выбора верхнего запроса. Голос: чисто. Данные и службы не менялись; полный цикл свежести повторно не проверялся.

Одобрение Opus относится к 3ec4d79. Новую редакцию проверил Codex; Opus повторно не запускался.

В [PR «ТЗ ступени 7: мониторинг»](https://git.dementev.space/ddmitry/clickstream-data-platform/pulls/243) добавлен коммит `ea56314c` по замечаниям Fable. Убрано заранее названное имя пользователя: учащийся сам определяет источник верхнего запроса. Затем он находит запрос открытого дашборда с наибольшим числом прочитанных строк. Буквальный переход от любого верхнего запроса к его панели не принят: у запроса другого клиента панели может не быть. Исправлены все пять замечаний к форме, включая тире. Проверены ссылки, пробелы и оба случая выбора верхнего запроса. Голос: чисто. Данные и службы не менялись; полный цикл свежести повторно не проверялся. Одобрение Opus относится к `3ec4d79`. Новую редакцию проверил Codex; Opus повторно не запускался.
Sign in to join this conversation.
No Branch/Tag Specified
Labels
Clear labels
needs-info
needs-triage
ready-for-agent
ready-for-human
wayfinder:grilling
wayfinder:map
wayfinder:prototype
wayfinder:research
wayfinder:task
wontfix
No labels wayfinder:task
Milestone
No items
No Milestone
Projects
Clear projects
No projects
Assignees
Clear assignees
ddmitry (Dmitry Dementiev)
No Assignees ddmitry
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: ddmitry/clickstream-data-platform#242