Точность — как мы её проверяем
Цифры точности опубликуем только после замера на 100 записях с человеческой расшифровкой и открытой методикой. До этого — честно о том, как устроена проверка.
Пока замера нет, лучший способ проверить — загрузить свои записи: первый разбор бесплатно.
Как устроена проверка
- Каждая отметка — «выполнено», «не выполнено» или «неприменимо» — идёт с уверенностью модели.
- Уверенные отметки идут «авто», остальные — «на проверку» человеку. Спорное «не выполнено» мы сами отправляем на проверку.
- Процент дня показывается вилкой «от — до», пока спорные пункты не проверены.
Что будет опубликовано
100 записей на казахском, русском и вперемешку — звонки и разговоры в зале; расшифровка двумя людьми; ошибки распознавания по языкам и точность отметок на отложенной выборке; файлы и скрипт сравнения.
Что важно знать
- Качество отметок зависит от формулировок чек-листа — студия подсказывает, как сформулировать проверяемо.
- Модель отвечает «да/нет» по сказанному и не оценивает тон по шкале.
Распознавание против других систем
Сравнение с Yandex SpeechKit и Google — после замера на 100 записях с человеческой расшифровкой.