Oasis Speech — наше собственное распознавание речи. Версия 2 — это архитектурное изменение модели, сделанное ради точности и качества распознавания на телефонных звонках. Мы сравнили её с версией 1 на одних и тех же записях на всех 48 языках, которые она распознаёт, отдельно на целых предложениях и на коротких ответах из одного-трёх слов.
Каждый язык измерен в телефонном качестве: мы оценивали каждую реплику в исходном виде и после телефонного кодека G.711. Короткие ответы вырезаны по естественным паузам. Подробности в последнем разделе.
На коротких ответах Oasis Speech 2 снижает долю ошибок на 44% (медиана по 48 языкам), и улучшились все 48 языков. Короткий ответ возвращается примерно за 150 мс по медиане и примерно за 210 мс по 95-му процентилю.
Почему короткие ответы
Телефонный разговор состоит в основном из коротких ответов: «Да». «Во вторник». «Нет, другой номер». Фамилия по буквам. Распознаватели обычно строят и проверяют на предложениях, а реплика из одного слова даётся им хуже всего. У одного слова нет контекста, на который можно опереться, и одна неверная буква составляет большую долю слова.
Ошибку оплачивает агент. Ошибочное «да» или неверно услышанная фамилия оборачивается неверной записью или растерянным клиентом. Поэтому мы измеряем дважды: на целых предложениях, где большинство распознавателей справляется хорошо, и на ответах из одного-трёх слов, где разница заметна. Подробнее о проблеме коротких ответов в заметке Самые короткие ответы распознать сложнее всего.
Что такое версия 2
Версия 1 распознавала каждую реплику за один проход.
Версия 2 — это архитектурное изменение модели с одной целью: точность и качество распознавания на телефонных звонках. Мы проектировали её под то, как звучит звонок: короткие ответы, узкополосный звук, фоновый шум, звонящий, который начинает говорить с середины слова.
Что заметят звонящий и агент:
- Меньше ошибок на коротких ответах на всех 48 языках.
- Тишина остаётся пустой. На кашель, щелчок в линии или голос на заднем плане Oasis Speech возвращает пустой результат и не выдумывает слово.
- Оценка уверенности, которой можно верить. Оценка 0,8 означает, что в этой реплике верны примерно четыре слова из пяти, и для ответа из одного слова, и для предложения. Агент использует её, чтобы переспросить вместо догадки.
- Настройка под каждый язык. Мы настраиваем каждый язык на его собственных данных, и результаты поставляются вместе с сервисом.
- Скорость в реальном времени. Короткая реплика возвращается примерно за 150 мс по медиане и примерно за 210 мс по 95-му процентилю.
Результаты по 48 языкам
Oasis Speech 2 снижает долю ошибок на коротких ответах по сравнению с версией 1. Медианы по 48 языкам; короткие ответы — от одного до трёх слов. Каждая реплика оценена в чистом виде и после G.711, телефонного кодека, а в таблицах приведено среднее из двух.
| Длина ответа | Снижение доли ошибок |
|---|---|
| Одно слово | 49% |
| Два слова | 42% |
| Три слова | 41% |
| Все короткие ответы | 44% |
На коротких ответах улучшаются все 48 языков, и изменение значимо во всех 48 после поправки на множественные сравнения. Чем короче ответ, тем больше выигрыш.
На целых предложениях, где распознаватели и так сильны, медианная доля ошибок составляет 2,17% (чем меньше, тем лучше):
| Показатель | Версия 1 | Версия 2 | Снижение доли ошибок |
|---|---|---|---|
| Доля ошибок, предложения | 2,29% | 2,17% | 5% |
Предложения и раньше распознавались хорошо, поэтому основной выигрыш приходится на то, что нужно звонящим: на первые слова ответа.
Восемь языков подробнее
Короткие ответы и предложения, по сравнению с версией 1.
| Язык | Короткие ответы, снижение | Предложения, v1 → v2 |
|---|---|---|
| Сербский | 51% | 1,45% → 1,41% |
| Хорватский | 44% | 2,97% → 2,75% |
| Боснийский | 49% | 1,91% → 1,65% |
| Немецкий | 36% | 1,53% → 1,26% |
| Французский | 27% | 3,45% → 2,55% |
| Испанский | 32% | 1,12% → 1,10% |
| Итальянский | 40% | 0,90% → 0,83% |
| Португальский | 31% | 1,59% → 1,43% |
Центральная Европа, Скандинавия и Бенилюкс
Ещё одиннадцать языков из тех же измерений.
| Язык | Короткие ответы, снижение | Предложения, v1 → v2 |
|---|---|---|
| Польский | 42% | 2,20% → 1,89% |
| Чешский | 41% | 2,12% → 1,96% |
| Словацкий | 40% | 1,53% → 1,39% |
| Венгерский | 44% | 2,72% → 2,53% |
| Румынский | 36% | 2,44% → 2,21% |
| Болгарский | 52% | 2,41% → 2,37% |
| Шведский | 39% | 3,11% → 2,83% |
| Норвежский (букмол) | 39% | 2,03% → 1,99% |
| Датский | 32% | 3,64% → 3,58% |
| Финский | 47% | 1,34% → 1,36% |
| Нидерландский | 30% | 2,15% → 1,78% |
Самый большой выигрыш
| Язык | Снижение доли ошибок |
|---|---|
| Таджикский | 71% |
| Филиппинский | 66% |
| Эстонский | 63% |
| Арабский | 59% |
| Македонский | 57% |
Все 48 языков
| Язык | Снижение доли ошибок |
|---|---|
| Азербайджанский | 43% |
| Английский | 38% |
| Арабский | 59% |
| Армянский | 43% |
| Белорусский | 39% |
| Болгарский | 52% |
| Боснийский | 49% |
| Валлийский | 41% |
| Венгерский | 44% |
| Галисийский | 22% |
| Греческий | 41% |
| Грузинский | 42% |
| Датский | 32% |
| Иврит | 42% |
| Индонезийский | 42% |
| Ирландский | 22% |
| Исландский | 39% |
| Испанский | 32% |
| Итальянский | 40% |
| Казахский | 44% |
| Каталанский | 30% |
| Киргизский | 47% |
| Латышский | 38% |
| Литовский | 45% |
| Люксембургский | 41% |
| Македонский | 57% |
| Мальтийский | 36% |
| Немецкий | 36% |
| Нидерландский | 30% |
| Норвежский (букмол) | 39% |
| Польский | 42% |
| Португальский | 31% |
| Румынский | 36% |
| Русский | 34% |
| Сербский | 51% |
| Словацкий | 40% |
| Словенский | 54% |
| Таджикский | 71% |
| Турецкий | 40% |
| Узбекский | 42% |
| Украинский | 44% |
| Филиппинский | 66% |
| Финский | 47% |
| Французский | 27% |
| Хорватский | 44% |
| Чешский | 41% |
| Шведский | 39% |
| Эстонский | 63% |
Реальные звонки
На аудио колл-центров ошибка калибровки оценки уверенности упала с 0,193 до 0,051, то есть на 74%.
Как получены числа
- Записи. Записи на каждом языке, оценённые в чистом виде и после телефонного кодека G.711. В таблицах среднее из двух.
- Реплики. Мы берём каждое предложение целиком и режем его на короткие ответы из одного-трёх слов по естественным паузам: тишина не менее 150 мс с обеих сторон, из которой оставляем 80 мс. Короткий ответ, вырезанный так, звучит как ответ, а не как обрубок.
- Статистика. Изменения приведены с 95%-ными интервалами, парными по предложениям. Утверждение, что улучшаются все 48 языков, опирается на поправку Холма по языкам.
Страница «Языки» ставит оценку каждому языку по этим измерениям: от A++ до B+. 37 из 48 языков держат A++.