feat(diarization): завершить Ryzen-этап CPU-эксперимента #44

Merged
ddmitry merged 2 commits from issue-42-ryzen-cpu-experiment into master 2026-09-01 12:54:00 +03:00
3 changed files with 782 additions and 19 deletions

No files matched your search

@@ -0,0 +1,318 @@
# CPU-диаризация: Ryzen-этап эксперимента
**Дата:** 2026-08-31
**Статус:** `new map`; C2 прошла проверки качества и памяти, но не достигла
итогового порога ускорения 30%, а более быстрые ветви Intel уперлись в качество.
Production-профиль не менялся.
## Итог
На AMD Ryzen 7 8845H выполнен этап 5 эксперимента из
[спецификации](../specs/2026-08-30-cpu-diarization-experiment.md) по единственному
кандидату C2 из [Intel-этапа](2026-08-31-cpu-diarization-intel.md). Этап 6 не
запускали: победителя нет. C2 сохраняет `window_shift_ratio=0.1`, Pyannote
Segmentation 3.0 FP32, WeSpeaker ResNet34 LM FP32 и `FastClustering(0.89)`.
Embedding-вызовы выполняют два outer worker через одну общую ONNX Runtime
session с общим пулом из восьми intra-op потоков; `inter_op_threads=1`.
Изолированный A/B механизма shared-session дал ускорение 24,05%. Первичный A/B
C2 показал 22,90%, поэтому кандидат прошел порог продолжения 10%, и для него
запустили пять чередующихся циклов. Они дали медиану 23,57% при MAD 0,62
процентного пункта, то есть ниже итогового порога 30%; по одному Ryzen-кандидату
C2 итог был бы `stop`.
Вся воронка дала `new map`. W1-W4 потеряли обязательное число кластеров. C1 с
CAMPPlus + NME ускорила Intel-прогон на 33,65%, но оставила два дополнительных
слова без говорящего; требуемую слуховую проверку не проводили и автоматической
оценкой не подменяли. Поэтому C1 не передавали на Ryzen и не считаем победителем.
Вернуть ее в матрицу можно только после приватной слуховой проверки.
Все принятые ячейки прошли обязательное качество: `3 / 2 / 2` кластера,
неизменный текст, `51 / 13 / 9` слов без говорящего, те же значения
`mapped speaker purity` `0,76655 / 0,78742`, `291 / 291 / 291` segmentation-окон
и `531 / 414 / 440` embedding-заданий. Потерь или дублей prepared-строк не было.
Пиковый RSS C2 оставался в диапазоне 410,3-418,1 МиБ; OOM, активности swap и
линейного роста памяти не наблюдалось.
Полные записи и слуховая приемка по пяти категориям на этапе 6 не запускались.
## Что именно проверяли
Отчет охватывает всю воронку: этапы 0-4 на Intel и этап 5 на Ryzen. На Intel
проверили шаг окна, модели эмбеддингов, счетчик говорящих, квантизацию, способы
параллельного исполнения и две комбинации. Таблицы ниже собирают этот путь в
одном месте. Подробные хеши и исходные идентификаторы ячеек остаются в
[Intel-отчете](2026-08-31-cpu-diarization-intel.md).
Intel-ячейки W/M/E/C были разведочными одиночными прогонами трех пятиминутных
фрагментов. Они показывают направление и причину отсева, но не дисперсию.
Исключение - соседняя пара W0/C2 под runtime guard. На Ryzen сначала выполнялась
одна диагностическая пара, затем первичная пара C2 и только после прохождения
порога - пять чередующихся циклов.
### Этап 0: пригодность механизмов
До дорогих CPU-ячеек проверили, что экспериментальный стенд вообще измеряет
задуманные механизмы, не теряя строки и не меняя пользовательский результат.
| Гипотеза | Что проверяли | Что получилось | Решение |
|---|---|---|---|
| `Prepare/Finalize` | Подготовка один раз, кластеризация копии матрицы и финализация | Результат совпал со штатным `process()`; пропусков и дублей строк нет | Использовать в стенде |
| Счетчик eigengap | CAMPPlus и TitaNet на матрицах `531 / 414 / 440` строк | CAMPPlus дал `6 / 1 / 7`, TitaNet - `7 / 2 / 4` вместо `3 / 2 / 2` | Исключить |
| Счетчик NME | Те же шесть матриц без повторного embedding-инференса | Обе модели дали `3 / 2 / 2`; метки повторяемы, потерянных строк нет | Использовать для M2 и M3 |
| WeSpeaker S8S8 QDQ | Схема, opset, метаданные, динамические длины и загрузка через sherpa-onnx | Граф технически корректен; качество и скорость проверены отдельно в Q1 | Допустить к CPU-ячейке |
| Shared-session worker | Один и два worker на одном наборе prepared-входов | Строки, метки и интервалы совпали; гонок и нечисловых значений нет | Допустить E1/E2 |
Задача этапа 0 - подтвердить, что последующие CPU-ячейки сравнивают одинаковые
вычисления и используют исправный экспериментальный API. Скорость измеряли на
следующих этапах.
### Этап 1: можно ли считать меньше окон
Гипотеза: увеличить `window_shift_ratio`, сократить число segmentation-окон и
вместе с ними число embedding-заданий. Все варианты использовали Pyannote
Segmentation 3.0 FP32, WeSpeaker FP32 и текущий `FastClustering(0.89)`.
| Ячейка | Шаг | Окна по трем фрагментам | Embedding-задания | Время, с | Кластеры | Решение |
|---|---:|---|---|---:|---|---|
| W0 | 0,10 | `291 / 291 / 291` | `531 / 414 / 440` | 148,220 | `3 / 2 / 2` | baseline |
| W1 | 0,15 | `195 / 195 / 195` | `357 / 274 / 302` | 100,799 | `2 / 2 / 2` | исключена: потерян кластер |
| W2 | 0,20 | `146 / 146 / 146` | `264 / 206 / 222` | 76,127 | `2 / 2 / 2` | исключена: потерян кластер |
| W3 | 0,25 | `117 / 117 / 117` | `211 / 165 / 175` | 61,369 | `2 / 2 / 2` | исключена: потерян кластер |
| W4 | 0,50 | `59 / 59 / 59` | `105 / 82 / 89` | 31,291 | `1 / 2 / 2` | исключена: потеряны два кластера |
Скорость росла именно вместе с сокращением работы, но даже осторожный W1
нарушил обязательное качество на первой записи. Рабочим остался шаг `0.1`.
Комбинация C0 совпала бы с baseline, поэтому ее не запускали.
### Этап 2: можно ли удешевить модель эмбеддингов
Гипотеза: сохранить полный набор окон, но заменить WeSpeaker и при необходимости
счетчик говорящих. В M2 и M3 сохраняли `window_shift_ratio=0.1`, Pyannote
Segmentation 3.0 FP32 и последовательный инференс. Менялись модель эмбеддингов и
счетчик говорящих. Проценты ниже посчитаны относительно W0 148,220 с.
| Ячейка | Рецепт | Время, с | Изменение | RSS, МиБ | Кластеры | Решение |
|---|---|---:|---:|---:|---|---|
| W0 (рецепт M0) | WeSpeaker FP32 + `FastClustering(0.89)` | 148,220 | baseline | 362,6 | `3 / 2 / 2` | точка сравнения |
| M2 | CAMPPlus + NME + `FastClustering(N)` | 94,550 | -36,21% | 358,6 | `3 / 2 / 2` | самый быстрый, собрать C1 |
| M3 | TitaNet small + NME + `FastClustering(N)` | 107,205 | -27,67% | 511,9 | `3 / 2 / 2` | прошла, но медленнее и тяжелее M2 |
M2 и M3 прошли обязательное число кластеров. Окончательная диагностика M2
появилась в C1: purity выросла, но число слов без говорящего на первой записи
изменилось с 51 до 53. По спецификации это требует прослушивания отмеченных мест.
### Этап 3: квантизация и исполнение эмбеддингов
Для QDQ проверяли, даст ли INT8 выигрыш старому Intel без VNNI. Q1 и E1-E3
сохраняли `window_shift_ratio=0.1`, Pyannote Segmentation 3.0 FP32 и текущий
`FastClustering(0.89)`. Q1 меняла модель WeSpeaker, E1-E3 - только топологию
исполнения FP32-модели. Во всех вариантах `inter_op_threads=1`; E1-E3 использовали
общий бюджет четырех физических ядер.
| Ячейка | Рецепт | Время, с | Изменение к W0 | RSS, МиБ | Кластеры | Решение |
|---|---|---:|---:|---:|---|---|
| Q1 | WeSpeaker S8S8 QDQ, sequential | 177,537 | +19,78% | 367,7 | `2 / 2 / 2` | исключена: медленнее и потерян кластер |
| E1 | 2 outer worker, одна session, общий pool 4 | 139,219 | -6,07% | 398,6 | `3 / 2 / 2` | передать как аппаратный кандидат |
| E2 | 4 outer worker, одна session, `intra_op=1` | 152,167 | +2,66% | 551,2 | `3 / 2 / 2` | исключена по времени и памяти |
| E3 | 4 отдельные session, `intra_op=1` | 159,038 | +7,30% | 732,3 | `3 / 2 / 2` | отрицательный контроль подтвердился |
E3 измерялась составным интервалом на заранее подготовленных заданиях, поэтому
ее wall time нельзя сравнивать с `process()` так же строго, как E1/E2. Для
решения хватило отрицательного результата одновременно по времени и памяти.
TitaNet batch проверили отдельно на тех же трех матрицах:
| Контроль | Строк | Batch 1, с | Batch 4, с | Число кластеров | Метки строк совпали |
|---:|---:|---:|---:|---:|:---:|
| 1 | 531 | 27,175 | 37,588 | 3 | нет |
| 2 | 414 | 25,871 | 32,443 | 2 | нет |
| 3 | 440 | 22,877 | 28,565 | 2 | нет |
Batch 4 сохранил число кластеров, но оказался медленнее batch 1, поменял метки
строк на всех трех матрицах и дал максимальный дрейф эмбеддингов `0,277-0,317`.
Ветвь остановили до отдельной CPU-ячейки. SHA-256 закрытого batch-result:
`f12bfdb5cadf80c62871c0725eac744a99825cb5d06b70fcf11e4e538ff6df72`.
### Этап 4: комбинации перед Ryzen
Полного декартова перебора не было. C0 совпала с baseline; из оставшихся
собрали самый быстрый модельный вариант C1 и переносимый аппаратный вариант C2.
| Комбинация | Точный рецепт | Время, с | Ускорение | RSS, МиБ | Диагностика | Решение |
|---|---|---:|---:|---:|---|---|
| C1 | `0.1` + Pyannote Segmentation 3.0 FP32 + CAMPPlus + NME + `FastClustering(N)` + sequential | 98,347 | 33,65% | 399,5 | `3 / 2 / 2`; purity выше; `+2` слова без говорящего | не передавать без слуховой проверки |
| C2 | `0.1` + Pyannote Segmentation 3.0 FP32 + WeSpeaker ResNet34 LM FP32 + `FastClustering(0.89)` + 2 outer worker + 1 shared session + pool 4 | 140,632 | 4,32% | 406,0 | точное совпадение с соседним W0 | передать на Ryzen |
У C1 процент считается от разведочного W0 148,220 с. У C2 был соседний W0
146,978 с под тем же runtime guard. C2 не достигла Intel-порога продолжения,
но shared-session заранее считалась аппаратной гипотезой: Ryzen имеет восемь
физических ядер и другой ISA, поэтому спецификация требовала отдельный A/B.
## Handoff и воспроизводимость
| Объект | Значение |
|---|---|
| Merge commit в начале Ryzen-этапа | `68fda7ee893265acfa00ac78b8d4c9697f9916d9` |
| Handoff commit | `42f094ccb9464742683eec9d695e5aa9a69dd4ec` |
| Source commit эксперимента | `6345cb6449d906767b6ed33e695f2ca4eeaf3008` |
| SHA-256 Intel-отчета | `8d4183be4c3ab35f2ea043f8d87ca20e16f523cb60f9c5414d974c1bc4d6b7de` |
| SHA-256 входной Intel-капсулы | `a3a50d34783d24fe6cd13b154ca9813f9842fdcb08d99eab33a6a54efea1e3ae` |
| ID закрытого Ryzen-хранилища | `ryzen-42-20260831` |
| Upstream commit sherpa-onnx 1.13.6 | `1cb484af9b1ab05cc36f89e03dd7d76322f2e911` |
| SHA-256 патча sherpa-onnx 1.13.6 | `5f12df858cd525c8a0cfe8ff95b647c3b0e915a13d45621acc4ac42660014c49` |
| SHA-256 Intel-wheel | `306499d8668ee138357f1de43a5c1c88f4dc46c845e8a92e6ad945327bcaa050` |
| SHA-256 Ryzen-wheel | `baaaa2532606f1e1411e5c84655afa70107ad4b1676420953f5e67233c46a484` |
Входная Intel-капсула прошла полную проверку: schema v3, 199 файлов,
QDQ-артефакт доступен, предупреждений нет. Ryzen-manifest без изменений
зафиксировал данные Intel-капсулы: handoff, артефакты, контрольные записи,
calibration, QDQ, патч, версии runtime и интервал RSS. Рецепты baseline и
кандидата во всех запущенных парах совпали с переносимыми Intel-рецептами.
Ryzen-manifest, сырые результаты, рабочие артефакты стенда, guard-свидетельства
и журналы сохранены в закрытой папке Яндекс Диска. Чтобы восстановить
Ryzen-этап, нужны это хранилище и входная Intel-капсула; публичный отчет связывает
приведенные ниже восемь результатов с закрытым хранилищем только по SHA-256.
Переданный wheel не загрузился в Ryzen WSL: он требовал GLIBC 2.43, а стенд
работает с GLIBC 2.39. Для измерений wheel пересобран из того же upstream commit
и патча под текущую систему; его отдельный SHA-256 приведен в
таблице. Production-зависимости и lock-файл не менялись.
Стенд потребовал два исправления, не меняющих пользовательский контракт. Ранее
Ryzen-запуск сравнивал свой manifest побайтово с Intel `manifest.json` внутри
капсулы, хотя обязательные `stage=ryzen`, Ryzen-машина и расписание такое
совпадение исключают. Теперь Intel-manifest проверяется по индексу капсулы, а
Ryzen-manifest отдельно связывается с handoff и входами капсулы. Второе:
`temperature_celsius` допускает `null`, когда WSL и Windows не показывают
датчик температуры; отсутствие измерения больше не подменяется числом.
## Стенд Ryzen
- AMD Ryzen 7 8845H with Radeon 780M, 8 физических ядер / 16 логических
процессоров;
- 15 584 276 480 байт RAM доступны WSL, 31 944 794 112 байт установлены в
Windows; swap WSL - 4 294 967 296 байт, активность во время принятых ячеек -
нулевая;
- x86_64; AVX, AVX2, AVX-512, AVX512 VNNI, FMA, SSE4.1, SSE4.2 и AES;
- WSL2 Linux 5.15.167.4 с GLIBC 2.39, Windows 11 Enterprise 10.0.26200,
Python 3.13.13;
- `sherpa-onnx` / `sherpa-onnx-core` 1.13.6, ONNX Runtime 1.28.0,
NumPy 2.4.3, ONNX 1.22.0, kaldi-native-fbank 1.22.3, psutil 7.2.2;
- питание от сети, стабильный Windows-профиль `balanced`, EPP AC 25%,
максимальное состояние процессора 100%, boost mode `aggressive`;
- WSL не предоставляет governor, а доступные интерфейсы не показывают
температурный датчик или аппаратные лимиты мощности. Температура
записана как недоступная; это ограничивает тепловой guard;
- нативные WSL-интерфейсы не отдали supply, platform profile и throttle count,
поэтому для принятых ячеек использовали override
`LOCAL_TRANSCRIBER_RUNTIME_GUARD_JSON`, заполненный проверенными Windows-фактами:
AC, `balanced`, turbo, power policy, нулевая подкачка, отсутствие throttling.
До и после принятых пар Windows-проверка подтверждала AC, неизменный `balanced`
и отсутствие событий throttling от `Microsoft-Windows-Kernel-Processor-Power`.
Статический override сам по себе не обнаруживает изменение внутри ячейки,
поэтому внешняя проверка остается ограничением воспроизводимости;
- baseline: одна session, один outer worker, `intra_op_threads=8`,
`inter_op_threads=1`, batch 1; C2: одна shared session, два outer worker,
общий `intra_op_threads=8`, `inter_op_threads=1`, batch 1.
## Ячейки этапа 5
Время ячейки - сумма трех вызовов `diarizer.process()`, по одному на каждый
пятиминутный фрагмент. ASR и загрузка моделей в измерение не входят.
| Проверка | Порядок | Baseline, с | Кандидат, с | Ускорение | RSS baseline / кандидат, МиБ | Качество |
|---|---|---:|---:|---:|---:|:---:|
| Совпадающий baseline | W0 | 110,998 | - | - | 370,4 / - | да |
| Изолированный E1 | W0 -> E1 | 111,557 | 84,723 | 24,05% | 367,3 / 412,2 | да |
| Первичный C2 | C2 -> W0 | 111,423 | 85,909 | 22,90% | 369,6 / 410,3 | да |
E1 и C2 сохранили все обязательные и диагностические показатели baseline.
Первичный C2 прошел порог продолжения и уложился в правило памяти.
## Пять финальных A/B-циклов
| Цикл | Порядок | Baseline, с | C2, с | Парное ускорение | RSS baseline / C2, МиБ | Качество |
|---:|---|---:|---:|---:|---:|:---:|
| 1 | W0 -> C2 | 111,354 | 83,529 | 24,99% | 369,2 / 413,4 | да |
| 2 | C2 -> W0 | 108,899 | 83,907 | 22,95% | 373,0 / 418,1 | да |
| 3 | W0 -> C2 | 110,928 | 84,968 | 23,40% | 373,8 / 410,9 | да |
| 4 | C2 -> W0 | 114,985 | 83,342 | 27,52% | 376,6 / 411,1 | да |
| 5 | W0 -> C2 | 113,233 | 86,548 | 23,57% | 358,6 / 413,4 | да |
| **Итог** | - | - | - | **медиана 23,57%; MAD 0,62 п. п.** | - | **да** |
Чередование не изменило вывод: даже лучший отдельный цикл остался ниже 30%, а
медиана недобрала 6,43 процентного пункта. На Intel тот же механизм давал только
4,32%; Ryzen ускоряет shared-session заметнее, но недостаточно для `go`.
## Что уже не нужно прогонять заново
Полный replay этапов 0-5 для следующей гипотезы не нужен. Результаты закреплены
публичными агрегатами, хешами и закрытой капсулой.
| Результат | Что можно переиспользовать | Когда повтор действительно нужен |
|---|---|---|
| W1-W4 | На текущей Pyannote-модели увеличение шага теряет кластер раньше порога скорости | Изменилась segmentation-модель, логика сборки окон или обязательный quality gate |
| M2/M3 | CAMPPlus и TitaNet с NME сохраняют `3 / 2 / 2`; M2 быстрее и экономнее | Изменилась модель, счетчик, clustering или контрольные входы |
| Q1 | Этот S8S8 QDQ-граф на Intel медленнее FP32 и дает `2 / 2 / 2` | Новая калибровка, формат квантизации, модель или runtime |
| E2/E3 | Больше worker и отдельные session не окупились при прежнем бюджете потоков | Изменилась топология session, runtime или бюджет ядер |
| E1/C2 на Ryzen | Для точного рецепта shared-session медиана равна 23,57%, качество и память проходят | Изменилась реализация механизма, runtime, машина или режим питания |
| C1 | Замер скорости уже есть; открыт только диагностический слуховой gate | Сначала прослушать подготовленные места; новый CPU-замер нужен лишь после положительного решения |
Есть три разных вида проверки, и они не заменяют друг друга:
1. `--validate-only` сверяет commit, схему, хеши, handoff и план. Модели он не
запускает.
2. `uv run pytest` проверяет код стенда на mock-данных. Полный Python-suite перед
PR нужен, но он не повторяет аудиозамеры и не скачивает модели.
3. Измерительная ячейка запускает реальные модели. Для новой гипотезы нужен
только затронутый минимальный срез, один совпадающий baseline и первичный A/B.
Пять циклов и полные записи нужны лишь кандидату, прошедшему записанные пороги.
## Что осталось неизвестным
- C1 не получила слухового решения. Из автоматических метрик нельзя вывести,
допустимы ли два дополнительных слова без говорящего.
- На Ryzen не опубликовано разложение wall time на segmentation, embeddings,
clustering и orchestration. По общему времени нельзя надежно назвать следующий
доминирующий компонент.
- Полные записи не запускались: C2 не достигла порога, а C1 не дошла до Ryzen.
- Температурный датчик в WSL и Windows недоступен. Внешняя проверка питания и
throttling снижает риск дрейфа, но не заменяет измерение температуры во время
каждой ячейки.
- Эксперимент проверял локальные замены внутри прежнего каскада. End-to-end
архитектуры в эту матрицу не входили.
## Индекс публичных доказательств
Хеши связывают обезличенные агрегаты с приватными JSON-результатами и не
раскрывают пути, текст, интервалы и идентификаторы записей.
| Результат | SHA-256 |
|---|---|
| Совпадающий baseline | `f50684784392cacc2d99c8aee51d01f0a67dfee3da6ea3ba5f3db749a3d5287a` |
| Изолированный E1 A/B | `24d5edae117e0619e432ef3f3019e8c66cf3516b87b80b64b8591390db25bf48` |
| Первичный C2 A/B | `142db6d06efc8d558b38e18f47f47e3e35e7df00751da2583339f99add8d75c4` |
| Финальный цикл 1 | `4b5095c9e64ff0ef75bbc58516c662bedbbdb0bedf131f66cc1031c9a0ad8c7f` |
| Финальный цикл 2 | `256a17b2d08510aad03d43f5c626c1a4269c9a25271ce492dc3305c4afca1888` |
| Финальный цикл 3 | `b5d37c7a8b05b065c61bc9d5f1c0ab639a80a821730e505179388d90c4239caa` |
| Финальный цикл 4 | `639cc9f13511a59c7240c6fb6ec6bf1c31ec26350330e3ca0c64fb721b768736` |
| Финальный цикл 5 | `4ff2863a93fc22a037de5c292391b6b46de1b539cf397026b349ea5134cf1051` |
## Решение
Итог - `new map`:
1. C2 прошла обязательное качество и память.
2. Медианное ускорение 23,57% не достигло порога 30%.
3. W1-W4 потеряли кластер, а C1 преодолела 30% на Intel только с незакрытым
диагностическим слуховым gate: сокращение окон и цены эмбеддинга уперлось в
качество раньше итогового порога.
4. По правилу спецификации следующий шаг - отдельная карта end-to-end
диаризации, заведенная как
[задача #45](https://git.dementev.space/ddmitry/local-transcriber/issues/45).
Ее гипотезы и замеры относятся к отдельному эксперименту.
5. Полные записи и Ryzen-слуховая приемка не требуются без победителя.
6. Production-профиль, CLI, конфигурационный контракт и модель по умолчанию
остаются без изменений.
+170 -19
View File
@@ -370,11 +370,13 @@ def validate_manifest(
if machine["cpu_flags"] != sorted(set(machine["cpu_flags"])):
raise ValueError("machine.cpu_flags: список должен быть сортирован без дублей")
_exact_keys(machine["power"], POWER_KEYS, "machine.power")
_require_positive(
machine["power"]["temperature_celsius"],
"machine.power.temperature_celsius",
allow_zero=True,
)
temperature = machine["power"]["temperature_celsius"]
if temperature is not None:
_require_positive(
temperature,
"machine.power.temperature_celsius",
allow_zero=True,
)
_require_positive(
machine["power"]["swap_total_bytes"],
"machine.power.swap_total_bytes",
@@ -714,14 +716,16 @@ def _validate_handoff(
)
name = _require_id(candidate["name"], f"handoff.candidate_recipes:{index}.name")
candidate_names.append(name)
cell = combination_cells.get(name)
if cell is None:
raise ValueError(
"handoff: кандидат не описан включенной combination-ячейкой"
)
expected_cell_id = make_cell_id(manifest, cell)
if candidate["cell_id"] != expected_cell_id:
raise ValueError(f"handoff:{name}: cell_id не совпадает с manifest")
_require_sha256(candidate["cell_id"], f"handoff:{name}.cell_id")
if experiment["stage"] == "intel":
cell = combination_cells.get(name)
if cell is None:
raise ValueError(
"handoff: кандидат не описан включенной combination-ячейкой"
)
expected_cell_id = make_cell_id(manifest, cell)
if candidate["cell_id"] != expected_cell_id:
raise ValueError(f"handoff:{name}: cell_id не совпадает с manifest")
_require_sha256(candidate["result_sha256"], f"handoff:{name}.result_sha256")
_require_relative_path(candidate["result_file"], f"handoff:{name}.result_file")
for gate in ("mandatory_passed", "memory_passed", "diagnostic_approved"):
@@ -1673,16 +1677,156 @@ def _manifest_file_index(manifest: Mapping[str, Any]) -> dict[str, str]:
return required
def _portable_inference_recipe(
manifest: Mapping[str, Any], inference: Mapping[str, Any]
) -> dict[str, Any]:
"""Переносит только заданные спецификацией конфигурации с бюджетом P."""
result = dict(inference)
physical_cores = manifest["machine"]["physical_cores"]
mode = result["mode"]
uses_physical_intra = result["intra_op_threads"] == physical_cores and (
(
mode in {"sequential", "titanet-batch"}
and result["outer_workers"] == 1
and result["session_count"] == 1
)
or (
mode == "shared-session"
and result["outer_workers"] == 2
and result["session_count"] == 1
)
)
if uses_physical_intra:
result["intra_op_threads"] = "physical-cores"
elif (
mode == "shared-session"
and result["outer_workers"] == physical_cores
and result["session_count"] == 1
and result["intra_op_threads"] == 1
):
result["outer_workers"] = "physical-cores"
elif (
mode == "separate-session"
and result["outer_workers"] == physical_cores
and result["session_count"] == physical_cores
and result["intra_op_threads"] == 1
):
result["outer_workers"] = "physical-cores"
result["session_count"] = "physical-cores"
return result
def _portable_cell_recipe(
manifest: Mapping[str, Any], cell: Mapping[str, Any]
) -> dict[str, Any]:
"""Нормализует переносимый между машинами рецепт ячейки."""
return {
"window_shift_ratio": cell["window_shift_ratio"],
"segmentation_artifact_id": cell["segmentation_artifact_id"],
"embedding_artifact_id": cell["embedding_artifact_id"],
"counter": cell["counter"],
"clustering": cell["clustering"],
"inference": _portable_inference_recipe(manifest, cell["inference"]),
}
def _validate_ryzen_capsule_manifest(
ryzen_manifest: Mapping[str, Any], intel_manifest: Mapping[str, Any]
) -> None:
"""Связывает Ryzen-план с проверенным Intel manifest из капсулы."""
if intel_manifest.get("experiment", {}).get("stage") != "intel":
raise ValueError("Капсула Ryzen должна содержать Intel manifest")
if ryzen_manifest["experiment"]["stage"] != "ryzen":
raise ValueError("Переносимый manifest должен относиться к Ryzen")
if ryzen_manifest["handoff"] != intel_manifest.get("handoff"):
raise ValueError("Ryzen manifest не совпал с handoff из капсулы")
ryzen_experiment = ryzen_manifest["experiment"]
intel_experiment = intel_manifest["experiment"]
for key in ("sherpa_patch_sha256", "dependencies"):
if ryzen_experiment[key] != intel_experiment.get(key):
raise ValueError(
"Ryzen manifest изменил закрепленный runtime Intel-капсулы"
)
if ryzen_manifest["rss_sample_interval_ms"] != intel_manifest.get(
"rss_sample_interval_ms"
):
raise ValueError("Ryzen manifest изменил интервал измерения RSS")
for key in ("artifacts", "recordings", "calibration", "qdq"):
if ryzen_manifest[key] != intel_manifest.get(key):
raise ValueError(
"Ryzen manifest изменил закрепленные входы Intel-капсулы"
)
intel_cells_by_id = {
make_cell_id(intel_manifest, cell): cell
for cell in intel_manifest["cells"]
if cell["phase"] == "combination" and cell["enabled"]
}
handed_candidate_recipes = []
handed_baseline_recipes = []
handed_mechanism_recipes = []
for candidate in intel_manifest["handoff"]["candidate_recipes"]:
cell = intel_cells_by_id.get(candidate["cell_id"])
if cell is None:
raise ValueError(
"Handoff-кандидат не связан с Intel combination-ячейкой"
)
baselines = [
baseline
for baseline in intel_manifest["cells"]
if baseline["enabled"]
and baseline["pair_id"] == cell["pair_id"]
and baseline["pair_role"] == "baseline"
]
if len(baselines) != 1:
raise ValueError(
"Handoff-кандидат не связан с Intel baseline-ячейкой"
)
candidate_recipe = _portable_cell_recipe(intel_manifest, cell)
baseline_recipe = _portable_cell_recipe(intel_manifest, baselines[0])
handed_candidate_recipes.append(candidate_recipe)
handed_baseline_recipes.append(baseline_recipe)
for key in ("embedding_artifact_id", "inference"):
if candidate_recipe[key] == baseline_recipe[key]:
continue
mechanism_recipe = copy.deepcopy(baseline_recipe)
mechanism_recipe[key] = candidate_recipe[key]
handed_mechanism_recipes.append(mechanism_recipe)
for cell in ryzen_manifest["cells"]:
if not cell["enabled"]:
continue
if cell["phase"] not in {"baseline", "mechanism", "combination"}:
raise ValueError("Ryzen manifest содержит ячейку вне этапов 5-6")
recipe = _portable_cell_recipe(ryzen_manifest, cell)
if cell["phase"] == "baseline" and cell["pair_role"] == "candidate":
raise ValueError("Ryzen baseline-ячейка не может быть кандидатом")
if cell["pair_role"] == "baseline" or cell["phase"] == "baseline":
if recipe not in handed_baseline_recipes:
raise ValueError(
"Ryzen baseline-ячейка не совпала с Intel baseline"
)
elif cell["phase"] == "mechanism" and recipe not in handed_mechanism_recipes:
raise ValueError(
"Ryzen mechanism-ячейка не совпала с механизмом handoff"
)
elif cell["phase"] == "combination" and recipe not in handed_candidate_recipes:
raise ValueError(
"Ryzen combination-ячейка не совпала с рецептом handoff"
)
def verify_capsule(
archive_path: Path,
expected_sha256: str,
*,
expected_manifest_path: Path,
expected_manifest_path: Path | None,
expected_ryzen_manifest: Mapping[str, Any] | None = None,
expected_source_commit: str | None = None,
expected_report_sha256: str | None = None,
expected_capsule_id: str | None = None,
) -> dict[str, Any]:
"""Сверяет внешний и внутренние хеши приватной ZIP-капсулы."""
if (expected_manifest_path is None) == (expected_ryzen_manifest is None):
raise ValueError("Нужно выбрать ровно один Intel или Ryzen manifest")
if file_sha256(archive_path) != expected_sha256:
raise ValueError("SHA-256 ZIP-капсулы не совпал")
with zipfile.ZipFile(archive_path) as archive:
@@ -1733,14 +1877,19 @@ def verify_capsule(
actual = hashlib.sha256(archive.read(name)).hexdigest()
if actual != expected:
raise ValueError("Внутренний SHA-256 капсулы не совпал")
manifest_bytes = expected_manifest_path.read_bytes()
archived_manifest = archive.read("manifest.json")
if archived_manifest != manifest_bytes:
raise ValueError("manifest аргумента не совпал с manifest.json капсулы")
manifest_sha256 = hashlib.sha256(manifest_bytes).hexdigest()
if expected_manifest_path is not None:
manifest_bytes = expected_manifest_path.read_bytes()
if archived_manifest != manifest_bytes:
raise ValueError("manifest аргумента не совпал с manifest.json капсулы")
manifest_sha256 = hashlib.sha256(archived_manifest).hexdigest()
if declared["manifest.json"] != manifest_sha256:
raise ValueError("Хеш manifest.json не совпал с индексом капсулы")
archived_manifest_value = json.loads(archived_manifest)
if expected_ryzen_manifest is not None:
_validate_ryzen_capsule_manifest(
expected_ryzen_manifest, archived_manifest_value
)
for name, expected in _manifest_file_index(archived_manifest_value).items():
if declared.get(name) != expected:
raise ValueError(
@@ -1783,10 +1932,12 @@ def run_cli(args: Any, raw_manifest: Mapping[str, Any]) -> None:
raise ValueError("Итоговый handoff требует --capsule и --capsule-sha256")
capsule_result = None
if capsule_path is not None and capsule_sha256 is not None:
ryzen_stage = manifest["experiment"]["stage"] == "ryzen"
capsule_result = verify_capsule(
capsule_path,
capsule_sha256,
expected_manifest_path=args.manifest,
expected_manifest_path=None if ryzen_stage else args.manifest,
expected_ryzen_manifest=raw_manifest if ryzen_stage else None,
expected_source_commit=manifest["handoff"]["source_commit"],
expected_report_sha256=manifest["handoff"]["public_report_sha256"],
expected_capsule_id=manifest["handoff"]["capsule_id"],
+294
View File
@@ -4,6 +4,7 @@ import json
import os
import zipfile
from pathlib import Path
from types import SimpleNamespace
import pytest
@@ -206,6 +207,119 @@ def _environment() -> dict[str, object]:
}
def _finalized_handoff_manifest(tmp_path: Path) -> dict[str, object]:
manifest = _manifest(tmp_path)
baseline = manifest["cells"][0]
baseline.update(
name="W0",
phase="combination",
pair_id="combination-c2",
pair_role="baseline",
schedule_position=10,
)
candidate = copy.deepcopy(baseline)
candidate.update(
name="C2",
pair_role="candidate",
schedule_position=11,
)
candidate["inference"].update(
mode="shared-session",
outer_workers=2,
session_count=1,
intra_op_threads=4,
)
manifest["cells"] = [baseline, candidate]
cell_id = experiment.make_cell_id(manifest, candidate)
manifest["handoff"] = {
"outcome": "handoff",
"source_commit": manifest["experiment"]["source_commit"],
"candidate_recipes": [
{
"name": "C2",
"cell_id": cell_id,
"result_file": "results/w0.json",
"result_sha256": "3" * 64,
"mandatory_passed": True,
"memory_passed": True,
"diagnostic_approved": True,
}
],
"public_report_sha256": "4" * 64,
"capsule_id": "opaque-41",
"capsule_sha256": "5" * 64,
}
return manifest
def _ryzen_capsule_fixture(tmp_path: Path):
intel = _finalized_handoff_manifest(tmp_path)
payloads = {}
def make_relative(item, archive_path):
content = Path(item["path"]).read_bytes()
item["path"] = archive_path
payloads[archive_path] = content
local_path = tmp_path / archive_path
local_path.parent.mkdir(parents=True, exist_ok=True)
local_path.write_bytes(content)
for artifact in intel["artifacts"]:
make_relative(artifact, f"artifacts/{artifact['id']}.bin")
for recording in intel["recordings"]:
make_relative(recording, f"recordings/{recording['id']}.wav")
make_relative(
recording["asr_words"], f"sidecars/{recording['id']}.words.json"
)
if recording["reference"] is not None:
make_relative(
recording["reference"], f"references/{recording['id']}.md"
)
for source in intel["calibration"]:
make_relative(source, f"calibration/{source['id']}.wav")
result_bytes = b'{"aggregate":{"quality_passed":true}}'
result_path = "results/c2.json"
payloads[result_path] = result_bytes
candidate = intel["handoff"]["candidate_recipes"][0]
candidate["result_file"] = result_path
candidate["result_sha256"] = hashlib.sha256(result_bytes).hexdigest()
intel_bytes = json.dumps(intel, separators=(",", ":")).encode()
files = {
"manifest.json": hashlib.sha256(intel_bytes).hexdigest(),
**{name: hashlib.sha256(value).hexdigest() for name, value in payloads.items()},
}
capsule = {
"capsule_id": intel["handoff"]["capsule_id"],
"source_commit": intel["handoff"]["source_commit"],
"public_report_sha256": intel["handoff"]["public_report_sha256"],
"files": files,
}
archive_path = tmp_path / "capsule.zip"
with zipfile.ZipFile(archive_path, "w") as archive:
archive.writestr("capsule.json", json.dumps(capsule))
archive.writestr("manifest.json", intel_bytes)
for name, content in payloads.items():
archive.writestr(name, content)
ryzen = copy.deepcopy(intel)
ryzen["experiment"].update(
id="cpu-diarization-ryzen",
stage="ryzen",
handoff_commit="6" * 40,
)
ryzen["machine"].update(
id="ryzen-8845h",
sku="AMD Ryzen 7 8845H",
physical_cores=8,
logical_cores=16,
)
for cell in ryzen["cells"]:
cell["stage"] = "ryzen"
cell["inference"]["intra_op_threads"] = 8
return archive_path, ryzen, files["manifest.json"]
def _guard(**changes) -> dict[str, object]:
result = {
"supply": "ac",
@@ -322,6 +436,134 @@ def test_portable_handoff_check_skips_only_machine_identity(tmp_path):
)
def test_ryzen_manifest_preserves_intel_capsule_inputs_and_evidence(tmp_path):
intel = _finalized_handoff_manifest(tmp_path)
experiment.validate_manifest(intel, verify_files=False)
ryzen = copy.deepcopy(intel)
ryzen["experiment"].update(
id="cpu-diarization-ryzen",
stage="ryzen",
handoff_commit="6" * 40,
)
ryzen["machine"].update(
id="ryzen-8845h",
sku="AMD Ryzen 7 8845H",
physical_cores=8,
logical_cores=16,
)
for cell in ryzen["cells"]:
cell["stage"] = "ryzen"
cell["inference"]["intra_op_threads"] = 8
ryzen["cells"][0]["name"] = "R-W0-primary"
ryzen["cells"][1]["name"] = "R-C2-primary"
experiment.validate_manifest(ryzen, verify_files=False)
experiment._validate_ryzen_capsule_manifest(ryzen, intel)
changed_input = copy.deepcopy(ryzen)
changed_input["artifacts"][0]["sha256"] = "7" * 64
with pytest.raises(ValueError, match="закрепленные входы"):
experiment._validate_ryzen_capsule_manifest(changed_input, intel)
changed_handoff = copy.deepcopy(ryzen)
changed_handoff["handoff"]["public_report_sha256"] = "8" * 64
with pytest.raises(ValueError, match="handoff"):
experiment._validate_ryzen_capsule_manifest(changed_handoff, intel)
changed_recipe = copy.deepcopy(ryzen)
changed_recipe["cells"][1]["window_shift_ratio"] = 0.2
with pytest.raises(ValueError, match="рецептом handoff"):
experiment._validate_ryzen_capsule_manifest(changed_recipe, intel)
changed_candidate = copy.deepcopy(intel)
changed_candidate["handoff"]["candidate_recipes"][0]["cell_id"] = "8" * 64
changed_candidate_ryzen = copy.deepcopy(ryzen)
changed_candidate_ryzen["handoff"]["candidate_recipes"][0]["cell_id"] = (
"8" * 64
)
with pytest.raises(ValueError, match="Intel combination"):
experiment._validate_ryzen_capsule_manifest(
changed_candidate_ryzen, changed_candidate
)
changed_baseline = copy.deepcopy(ryzen)
changed_baseline["cells"][0]["window_shift_ratio"] = 0.5
with pytest.raises(ValueError, match="baseline"):
experiment._validate_ryzen_capsule_manifest(changed_baseline, intel)
changed_phase = copy.deepcopy(ryzen)
changed_phase["cells"][1]["phase"] = "mechanism"
changed_phase["cells"][1]["window_shift_ratio"] = 0.5
with pytest.raises(ValueError, match="механизмом handoff"):
experiment._validate_ryzen_capsule_manifest(changed_phase, intel)
changed_patch = copy.deepcopy(ryzen)
changed_patch["experiment"]["sherpa_patch_sha256"] = "7" * 64
with pytest.raises(ValueError, match="runtime"):
experiment._validate_ryzen_capsule_manifest(changed_patch, intel)
changed_dependencies = copy.deepcopy(ryzen)
changed_dependencies["experiment"]["dependencies"]["onnxruntime"] = "1.99.0"
with pytest.raises(ValueError, match="runtime"):
experiment._validate_ryzen_capsule_manifest(changed_dependencies, intel)
changed_rss_interval = copy.deepcopy(ryzen)
changed_rss_interval["rss_sample_interval_ms"] = 5000
with pytest.raises(ValueError, match="RSS"):
experiment._validate_ryzen_capsule_manifest(changed_rss_interval, intel)
literal_workers_intel = copy.deepcopy(intel)
literal_workers_intel["cells"][1]["inference"]["outer_workers"] = 4
literal_workers_intel["handoff"]["candidate_recipes"][0]["cell_id"] = (
experiment.make_cell_id(
literal_workers_intel, literal_workers_intel["cells"][1]
)
)
literal_workers_ryzen = copy.deepcopy(ryzen)
literal_workers_ryzen["handoff"] = copy.deepcopy(
literal_workers_intel["handoff"]
)
literal_workers_ryzen["cells"][1]["inference"].update(
outer_workers=4,
intra_op_threads=4,
)
experiment._validate_ryzen_capsule_manifest(
literal_workers_ryzen, literal_workers_intel
)
scaled_workers_ryzen = copy.deepcopy(literal_workers_ryzen)
scaled_workers_ryzen["cells"][1]["inference"].update(
outer_workers=8,
intra_op_threads=8,
)
with pytest.raises(ValueError, match="рецептом handoff"):
experiment._validate_ryzen_capsule_manifest(
scaled_workers_ryzen, literal_workers_intel
)
@pytest.mark.parametrize("cell_id", [None, "not-a-sha256"])
def test_ryzen_manifest_rejects_invalid_handoff_cell_id(tmp_path, cell_id):
manifest = _finalized_handoff_manifest(tmp_path)
manifest["experiment"].update(stage="ryzen", handoff_commit="6" * 40)
for cell in manifest["cells"]:
cell["stage"] = "ryzen"
manifest["handoff"]["candidate_recipes"][0]["cell_id"] = cell_id
with pytest.raises(ValueError, match="cell_id"):
experiment.validate_manifest(manifest, verify_files=False)
def test_manifest_accepts_unavailable_temperature_sensor(tmp_path):
manifest = _manifest(tmp_path)
manifest["machine"]["power"]["temperature_celsius"] = None
experiment.validate_manifest(manifest, verify_files=False)
manifest["machine"]["power"]["temperature_celsius"] = -1.0
with pytest.raises(ValueError, match="temperature_celsius"):
experiment.validate_manifest(manifest, verify_files=False)
def test_manifest_rejects_stage_boundary_thread_budget_and_non_alternating_ab(tmp_path):
manifest = _manifest(tmp_path)
manifest["cells"][0]["stage"] = "ryzen"
@@ -808,6 +1050,20 @@ def test_capsule_verification_checks_hashes_commits_and_safe_paths(tmp_path):
"manifest_sha256": hashlib.sha256(manifest_bytes).hexdigest(),
}
with pytest.raises(ValueError, match="ровно один"):
experiment.verify_capsule(
archive_path,
archive_hash,
expected_manifest_path=None,
)
with pytest.raises(ValueError, match="ровно один"):
experiment.verify_capsule(
archive_path,
archive_hash,
expected_manifest_path=manifest_path,
expected_ryzen_manifest=manifest_value,
)
incomplete_capsule = copy.deepcopy(capsule)
incomplete_capsule["files"].pop("data/payload.bin")
incomplete_path = tmp_path / "incomplete.zip"
@@ -843,6 +1099,44 @@ def test_capsule_verification_checks_hashes_commits_and_safe_paths(tmp_path):
)
def test_run_cli_accepts_verified_ryzen_capsule_manifest(
tmp_path, capsys, monkeypatch
):
archive_path, ryzen, intel_manifest_sha256 = _ryzen_capsule_fixture(tmp_path)
manifest_path = tmp_path / "ryzen.json"
manifest_path.write_text(json.dumps(ryzen), encoding="utf-8")
args = SimpleNamespace(
manifest=manifest_path,
output=None,
work_dir=tmp_path / "work",
capsule=archive_path,
capsule_sha256=experiment.file_sha256(archive_path),
validate_only=True,
prepare_asr=None,
)
monkeypatch.setattr(experiment, "environment_snapshot", _environment)
experiment.run_cli(args, ryzen)
plan = json.loads(capsys.readouterr().out)
assert plan["stage"] == "ryzen"
assert plan["capsule"]["manifest_sha256"] == intel_manifest_sha256
assert plan["capsule"]["file_count"] == 14
def test_verify_capsule_rejects_unlinked_ryzen_manifest(tmp_path):
archive_path, ryzen, _manifest_sha256 = _ryzen_capsule_fixture(tmp_path)
ryzen["artifacts"][0]["sha256"] = "7" * 64
with pytest.raises(ValueError, match="закрепленные входы"):
experiment.verify_capsule(
archive_path,
experiment.file_sha256(archive_path),
expected_manifest_path=None,
expected_ryzen_manifest=ryzen,
)
def test_capsule_binds_candidate_result_evidence_to_file_index(tmp_path):
input_bytes = b"input"
input_hash = hashlib.sha256(input_bytes).hexdigest()