„Да“, „четвртак“, „не, онај други“. Већина онога што позивалац каже агенту је неколико речи, а неколико речи је оно што препознавање говора најтеже погађа. Ова белешка објашњава зашто и описује пут за кратке одговоре који смо уградили у Oasis Speech 2. Резултати по језицима налазе се у тексту Oasis Speech 2: препознавање говора на 48 језика.
Мерили смо на 48 језика које Oasis Speech препознаје, у телефонском квалитету: свака реплика чиста и проведена кроз телефонски кодек Г.711, уз снимке правих људи који изговарају кратке захтеве. Верзија 1 и верзија 2 система Oasis Speech радиле су на истом звуку.
Oasis Speech 2 смањује стопу грешака на одговорима од једне речи за 49% (медијана за 48 језика), а свих 48 језика је напредовало на кратким одговорима, свака промена статистички значајна. Кратак одговор се препознаје за око 150 мс у медијани (95. перцентил око 210 мс), а на звуку из позивних центара грешка калибрације оцене поузданости пала је за 74%.
Телефонски позив се састоји од кратких одговора
Послушајте сервисни позив са стране позиваоца. „Да.“ „Уторак.“ „Не, онај други број.“ „Петровић.“ „Четири четири један седам.“ Агент пита, а позивалац одговара са једном до три речи.
Те речи носе позив. Погрешно чуто „да“ резервише погрешан термин. Погрешно чуто презиме прави други запис о клијенту. Погрешно чута цифра шаље подсетник на погрешан налог.
Тимови обично праве, подешавају и тестирају препознавање говора на реченицама. На реченици уобичајен препознавач погреши око два знака од сто. На једној речи исеченој из истог говора, уобичајен препознавач може да погреши један знак од два. Кратки одговори су најтежи случај за препознавање и најчешћи на позиву.
Зашто је кратко тешко
На кратком одговору се скупља шест утицаја. Сваки је мали на реченици, а велик на једној речи.
Недостатак контекста
Препознавање се ослања на контекст. Унутар реченице препознавач предвиђа сваку реч према суседима, а суседи искључују већину погрешних кандидата. Реч сама нема суседа. Једини доказ је звук.
Буџет доказа
Одговор од једне речи траје 300 до 600 мс. Пуцкетање на линији, дах или артефакт кодека заузимају много већи део тог одговора него петосекундне реченице, а око њега нема ничега што би штету ублажило просеком.
Осетљиве ивице
Први и последњи гласови реплике најлакше се губе: говорник почне тихо, детекција гласа се отвори мало касније, последњи сугласник утихне. У реченици су то два гласа од педесет. У речи „да“ су то два од три.
Уски опсег
Телефонска линија преноси отприлике 300 до 3.400 Хз. Сугласници по којима се разликују многе речи (с, ф, ш, х) већи део енергије носе изнад те границе. У реченици их враћа контекст. У једној речи их ништа не враћа.
Привлачност тишине
Препознавач обучен на течном говору жели да произведе речи. Кад добије дах, кашаљ или неколико стотина милисекунди шума линије, склон је да врати кратку, вероватну реч: „да“, „у реду“, „хало“. Кратке реплике садрже много више таквог звука него реченице.
Немилосрдна мера
Једно погрешно слово у „да“ је трећина речи. Исте грешке које реченици коштају један поен грешке, кратком одговору коштају тридесет.
Сопствени пут
Oasis Speech 2 кратку реплику третира као посебан проблем. Када је реплика краћа од неколико секунди, иде посебним путем за кратке одговоре, до којег реченице никад не долазе. Тај пут ради четири ствари које препознавачу реченица нису потребне.
Одмерава више читања пре одговора
Пут за кратке одговоре чува више конкурентних читања уместо да се обавеже на први транскрипт који нађе. Међу њима бира према доказима који су важни за кратак одговор: колико се свако слаже са звуком, колико је вероватно као нешто што човек каже у одговору и да ли његова дужина одговара дужини говора.
Зна колико дугачак одговор треба да буде
На кратком звуку препознавач склон је да изостави реч или да је измисли. Провера дужине, подешена по језику, држи одговор у границама онога што трајање говора може да садржи.
Тишину држи тихом
Посебна капија за оно што није говор посматра акустику реплике. За кашаљ, пуцкетање или глас у позадини враћа празан резултат уместо измишљеног „да“. На правим снимцима кратких одговора капија није сметала: испразнила је највише 0,2% правих кратких одговора.
Каже колико је сигурна
Сваки резултат носи оцену поузданости, калибрисану тако да 0,8 значи да је отприлике четири речи од пет у тој реплици тачно, и за одговор од једне речи и за целу реченицу. На звуку из позивних центара грешка калибрације пала је за 74%. Агент користи оцену: испод прага тражи од позиваоца да понови уместо да погађа име или цифру.
Подешена за сваки језик
Пут подешавамо посебно за сваки од 48 језика, на кратким одговорима који се третирају као засебна категорија, а не као нуспроизвод реченица. Поставке језика иду уз сервис само ако је добитак статистички сигуран: упарен боотстрап интервал промене лежи у целости испод нуле.
Пут одржава препознавање брзим. Кратак одговор се враћа за око 150 мс у медијани и за око 210 мс на 95. перцентилу.
Како смо мерили
- 48 језика, измерено у телефонском квалитету.
- Обе линије. Сваку реплику меримо двапут: онакву каква је снимљена и након проласка кроз Г.711, кодек обичне телефонске линије. Бројеви су просек то двоје.
- Кратке реплике сечене као одговори. Из сваке реченице узимамо једну дугу реплику и две кратке од једне до три речи. Кратку реплику сечемо на природној паузи где је могуће, задржавамо 80 мс тишине око ње и допуњавамо је тишином из самог снимка, никад суседним речима.
- Реплике налик одговорима. Подскуп кратких реплика с тишином с обе стране и без усамљене речи-попуне: оно што је најближе одговору позиваоца.
- Верзија 1 према верзији 2 на истом звуку, исеченом и допуњеном на исти начин.
- Статистика. Медијане преко језика с 95% интервалима који поново узоркују и језике и реченице унутар сваког. Језик се рачуна као побољшан само ако његова промена остане значајна након Холмове корекције преко свих 48.
Резултати
Oasis Speech 2 смањује стопу грешака на кратким одговорима у поређењу с верзијом 1. Медијана за 48 језика.
| Кратки одговори | Смањење стопе грешака | Језика с побољшањем |
|---|---|---|
| Једна реч | 49% | 48 / 48 |
| Две речи | 42% | 48 / 48 |
| Три речи | 41% | 48 / 48 |
| Све кратке реплике | 44% | 48 / 48 |
| Реплике налик одговорима | 43% | 36 / 47, ниједан лошији |
Осам језика изблиза
| Језик | Смањење стопе грешака |
|---|---|
| Српски | 51% |
| Босански | 49% |
| Хрватски | 44% |
| Италијански | 40% |
| Немачки | 36% |
| Шпански | 32% |
| Португалски | 31% |
| Француски | 27% |
На правим кратким снимцима
Мерили смо и на снимцима правих људи који изговарају кратке захтеве од једне до три речи, сопственим гласом. Oasis Speech 2 смањује стопу грешака на њима, кроз телефонски кодек Г.711:
| Језик | Смањење стопе грешака |
|---|---|
| Шпански | 27% |
| Немачки | 41% |
| Холандски | 30% |
| Турски | 33% |
| Португалски | 31% |
| Пољски | 29% |
| Француски | 40% |
| Мађарски | 52% |
| Арапски | 34% |
Верзија 2 је победила верзију 1 на сваком овде наведеном језику, и на чистом звуку и кроз телефонски кодек. Ово су бројеви за кратке реплике који су најближи томе како звучи позивалац. На чистом звуку стопа грешака на кратким одговорима на шпанском је 2,9%, а на немачком 4,0% (мање је боље).
Шта агент ради с тим
Агент гради на ономе што препознавање врати:
- Чита назад оно што је важно. Агент чита позиваоцу имена, бројеве, износе и датуме пре него што их забележи.
- Пита поново уместо да погађа. Кад је оцена поузданости ниска, агент тражи од позиваоца да понови и никад не попуњава цифру коју није чуо.
- Намерно га тестирамо на лошем препознавању. Polygon агентима даје изобличен текст, изостављене речи, цифре читане једну по једну и речи које звуче слично, да провери да ли се агент сналази кад препознавање не успе. Како оцењујемо разговор описује метод.
Страница Језици оцењује сваки од 48 језика које агент чује и говори.