Точность — как мы её проверяем

Цифры точности опубликуем только после замера на 100 записях с человеческой расшифровкой и открытой методикой. До этого — честно о том, как устроена проверка.

Пока замера нет, лучший способ проверить — загрузить свои записи: первый разбор бесплатно.

Как устроена проверка

  • Каждая отметка — «выполнено», «не выполнено» или «неприменимо» — идёт с уверенностью модели.
  • Уверенные отметки идут «авто», остальные — «на проверку» человеку. Спорное «не выполнено» мы сами отправляем на проверку.
  • Процент дня показывается вилкой «от — до», пока спорные пункты не проверены.

Что будет опубликовано

100 записей на казахском, русском и вперемешку — звонки и разговоры в зале; расшифровка двумя людьми; ошибки распознавания по языкам и точность отметок на отложенной выборке; файлы и скрипт сравнения.

Что важно знать

  • Качество отметок зависит от формулировок чек-листа — студия подсказывает, как сформулировать проверяемо.
  • Модель отвечает «да/нет» по сказанному и не оценивает тон по шкале.

Распознавание против других систем

Сравнение с Yandex SpeechKit и Google — после замера на 100 записях с человеческой расшифровкой.