Oasis Speech је наше сопствено препознавање говора. Верзија 2 је архитектонска промена модела, направљена ради тачности и квалитета препознавања на телефонским позивима. Упоредили смо је с верзијом 1 на истим снимцима, на свих 48 језика које препознаје, на целим реченицама и на кратким одговорима од једне до три речи.
Сваки језик је измерен у телефонском квалитету: сваку реплику оценили смо онакву каква је снимљена и након телефонског кодека Г.711. Кратки одговори се секу на природним паузама. Детаљи су у последњем одељку.
На кратким одговорима Oasis Speech 2 смањује стопу грешака за 44% (медијана за 48 језика), а напредовало је свих 48 језика. Кратак одговор се враћа за око 150 мс у медијани и за око 210 мс на 95. перцентилу.
Зашто кратки одговори
Телефонски разговор се углавном састоји од кратких одговора: „Да.“ „Уторак.“ „Не, онај други број.“ Презиме изговорено слово по слово. Препознавачи се обично праве и тестирају на реченицама, а реплика од једне речи је случај с којим се најгоре носе. Једна реч не даје препознавачу контекст на који би се ослонио, а један погрешан знак је велики део речи.
Грешку плаћа агент. Погрешно „да“ или погрешно чуто презиме постаје погрешна резервација или збуњен клијент. Зато меримо двапут: на целим реченицама, где већина препознавача добро ради, и на одговорима од једне до три речи, где се разлика види. Најкраћи одговори су најтежи детаљно објашњава проблем кратких одговора.
Шта је верзија 2
Верзија 1 је препознавала сваку реплику у једном пролазу.
Верзија 2 је архитектонска промена модела, направљена с једним циљем: тачност и квалитет препознавања на телефонским позивима. Пројектовали смо је према томе како звучи позив: кратки одговори, ускопојасни звук, бука у позадини, позивалац који почне усред речи.
Шта примећују позивалац и агент:
- Мање грешака на кратким одговорима, на свих 48 језика.
- Тишина остаје празна. За кашаљ, пуцкетање на линији или глас у позадини Oasis Speech враћа празан резултат и не измишља реч.
- Оцена поузданости која нешто значи. Оцена 0,8 значи да је отприлике четири речи од пет у тој реплици тачно, и за одговор од једне речи и за целу реченицу. Агент је користи да пита поново уместо да погађа.
- Подешавање по језику. Сваки језик подешавамо на његовим подацима, а резултати иду уз сервис.
- Брзина у реалном времену. Кратка реплика се враћа за око 150 мс у медијани и за око 210 мс на 95. перцентилу.
Резултати на 48 језика
Oasis Speech 2 смањује стопу грешака на кратким одговорима у поређењу с верзијом 1. Медијане за 48 језика; кратки одговори имају од једне до три речи. Свака реплика се оцењује чиста и кроз Г.711, телефонски кодек, а табеле приказују просек то двоје.
| Дужина одговора | Смањење стопе грешака |
|---|---|
| Једна реч | 49% |
| Две речи | 42% |
| Три речи | 41% |
| Сви кратки одговори | 44% |
Свих 48 језика напредује на кратким одговорима, а промена је значајна у свих 48 и након корекције за вишеструка поређења. Што је одговор краћи, добитак је већи.
На целим реченицама, где су препознавачи већ јаки, медијана стопе грешака је 2,17% (мање је боље):
| Мера | Верзија 1 | Верзија 2 | Смањење стопе грешака |
|---|---|---|---|
| Стопа грешака, реченице | 2,29% | 2,17% | 5% |
Реченице су већ биле добре, па највећи део добитка пада тамо где је позиваоцима потребан: у првим речима одговора.
Осам језика изблиза
Кратки одговори и реченице, у поређењу с верзијом 1.
| Језик | Кратки одговори, смањење | Реченице, в1 → в2 |
|---|---|---|
| Српски | 51% | 1,45% → 1,41% |
| Хрватски | 44% | 2,97% → 2,75% |
| Босански | 49% | 1,91% → 1,65% |
| Немачки | 36% | 1,53% → 1,26% |
| Француски | 27% | 3,45% → 2,55% |
| Шпански | 32% | 1,12% → 1,10% |
| Италијански | 40% | 0,90% → 0,83% |
| Португалски | 31% | 1,59% → 1,43% |
Централна Европа, Скандинавија и Бенелакс
Још једанаест језика из истих мерења.
| Језик | Кратки одговори, смањење | Реченице, в1 → в2 |
|---|---|---|
| Пољски | 42% | 2,20% → 1,89% |
| Чешки | 41% | 2,12% → 1,96% |
| Словачки | 40% | 1,53% → 1,39% |
| Мађарски | 44% | 2,72% → 2,53% |
| Румунски | 36% | 2,44% → 2,21% |
| Бугарски | 52% | 2,41% → 2,37% |
| Шведски | 39% | 3,11% → 2,83% |
| Норвешки (бокмåл) | 39% | 2,03% → 1,99% |
| Дански | 32% | 3,64% → 3,58% |
| Фински | 47% | 1,34% → 1,36% |
| Холандски | 30% | 2,15% → 1,78% |
Највећи добици
| Језик | Смањење стопе грешака |
|---|---|
| Таџички | 71% |
| Филипински | 66% |
| Естонски | 63% |
| Арапски | 59% |
| Македонски | 57% |
Свих 48 језика
| Језик | Смањење стопе грешака |
|---|---|
| Арапски | 59% |
| Азербејџански | 43% |
| Белоруски | 39% |
| Босански | 49% |
| Бугарски | 52% |
| Чешки | 41% |
| Дански | 32% |
| Енглески | 38% |
| Естонски | 63% |
| Филипински | 66% |
| Фински | 47% |
| Француски | 27% |
| Галицијски | 22% |
| Грчки | 41% |
| Грузијски | 42% |
| Хебрејски | 42% |
| Холандски | 30% |
| Хрватски | 44% |
| Индонежански | 42% |
| Ирски | 22% |
| Исландски | 39% |
| Италијански | 40% |
| Јерменски | 43% |
| Каталонски | 30% |
| Казашки | 44% |
| Киргиски | 47% |
| Летонски | 38% |
| Литвански | 45% |
| Луксембуршки | 41% |
| Мађарски | 44% |
| Македонски | 57% |
| Малтешки | 36% |
| Немачки | 36% |
| Норвешки (бокмåл) | 39% |
| Пољски | 42% |
| Португалски | 31% |
| Румунски | 36% |
| Руски | 34% |
| Словачки | 40% |
| Словеначки | 54% |
| Српски | 51% |
| Шпански | 32% |
| Шведски | 39% |
| Таџички | 71% |
| Турски | 40% |
| Украјински | 44% |
| Узбечки | 42% |
| Велшки | 41% |
Прави позиви
На звуку из позивних центара грешка калибрације оцене поузданости пала је са 0,193 на 0,051, што је смањење од 74%.
Како су бројеви настали
- Снимци. Снимци на сваком језику, оцењени чисти и кроз телефонски кодек Г.711. Табеле приказују просек то двоје.
- Реплике. Користимо сваку реченицу целу, а затим је сечемо на кратке одговоре од једне до три речи на природним паузама: тишина од најмање 150 мс с обе стране, од које задржавамо 80 мс. Тако сечен кратак одговор звучи као одговор, а не као одсечен фрагмент.
- Статистика. Промене имају 95% интервале, упарено по реченицама. Тврдња да се свих 48 језика побољшало користи Холмову корекцију преко језика.
Страница Језици оцењује сваки језик према овим мерењима, од А++ до Б+. Оцену А++ држи 37 од 48 језика.