Oasis Speech je naše vlastito prepoznavanje govora. Inačica 2 je arhitekturna promjena modela, napravljena radi točnosti i kvalitete prepoznavanja na telefonskim pozivima. Usporedili smo je s inačicom 1 na istim snimkama na svih 48 jezika koje prepoznaje, i na cijelim rečenicama i na kratkim odgovorima od jedne do tri riječi.
Svaki je jezik mjeren u telefonskoj kvaliteti: svaki smo govorni isječak ocijenili onako kako je snimljen i nakon telefonskog kodeka G.711. Kratki odgovori režu se na prirodnim stankama. Pojedinosti su u zadnjem odjeljku.
Na kratkim odgovorima Oasis Speech 2 smanjuje stopu pogrešaka za 44% (medijan na 48 jezika), a poboljšali su se svih 48 jezika. Kratak odgovor vraća se za oko 150 ms u medijanu i oko 210 ms u 95. percentilu.
Zašto kratki odgovori
Telefonski razgovor većinom se sastoji od kratkih odgovora: „Da.“ „Utorak.“ „Ne, drugi broj.“ Prezime izgovoreno slovo po slovo. Prepoznavači se obično grade i testiraju na rečenicama, a govorni isječak od jedne riječi slučaj je s kojim se najlošije nose. Jedna riječ ne daje prepoznavaču kontekst na koji bi se oslonio, a jedan pogrešan znak velik je dio riječi.
Agent plaća za pogrešku. Pogrešno „da“ ili krivo shvaćeno prezime postaje pogrešna rezervacija ili zbunjen kupac. Zato mjerimo dvaput: na cijelim rečenicama, gdje je većina prepoznavača dobra, i na odgovorima od jedne do tri riječi, gdje se razlika vidi. Problem kratkih odgovora podrobno objašnjava tekst Najkraći odgovori najteže se prepoznaju.
Što je inačica 2
Inačica 1 prepoznavala je svaki govorni isječak u jednom prolazu.
Inačica 2 je arhitekturna promjena modela, izgrađena oko jednog cilja: točnost i kvaliteta prepoznavanja na telefonskim pozivima. Oblikovali smo je prema tome kako zvuči poziv: kratki odgovori, uskopojasni zvuk, buka u pozadini, pozivatelj koji počne usred riječi.
Što primjećuju pozivatelj i agent:
- Manje pogrešaka na kratkim odgovorima, na svih 48 jezika.
- Tišina ostaje prazna. Za kašalj, klik na liniji ili glas u pozadini Oasis Speech vraća prazan rezultat i ne izmišlja riječ.
- Ocjena pouzdanosti koja nešto znači. Ocjena 0,8 znači da su otprilike četiri riječi od pet u tom isječku točne, jednako za odgovor od jedne riječi i za rečenicu. Agent je koristi da ponovno pita umjesto da pogađa.
- Podešavanje po jeziku. Svaki jezik podešavamo na njegovim vlastitim podacima, a rezultati dolaze sa servisom.
- Brzina u stvarnom vremenu. Kratak govorni isječak vraća se za oko 150 ms u medijanu i oko 210 ms u 95. percentilu.
Rezultati na 48 jezika
Oasis Speech 2 smanjuje stopu pogrešaka na kratkim odgovorima u odnosu na inačicu 1. Medijani na 48 jezika; kratki odgovori imaju jednu do tri riječi. Svaki je isječak ocijenjen čist i kroz G.711, telefonski kodek, a tablice prikazuju prosjek to dvoje.
| Duljina odgovora | Smanjenje stope pogrešaka |
|---|---|
| Jedna riječ | 49% |
| Dvije riječi | 42% |
| Tri riječi | 41% |
| Svi kratki odgovori | 44% |
Svih 48 jezika poboljšava se na kratkim odgovorima, a promjena je značajna na svih 48 nakon korekcije za višestruke usporedbe. Što je odgovor kraći, to je dobitak veći.
Na cijelim rečenicama, gdje su prepoznavači već jaki, medijan stope pogrešaka iznosi 2,17% (niže je bolje):
| Mjera | Inačica 1 | Inačica 2 | Smanjenje stope pogrešaka |
|---|---|---|---|
| Stopa pogrešaka, rečenice | 2,29% | 2,17% | 5% |
Rečenice su već bile jake, pa se najveći dio dobitka nalazi tamo gdje je pozivateljima potreban: u prvim riječima odgovora.
Osam jezika izbliza
Kratki odgovori i rečenice, u odnosu na inačicu 1.
| Jezik | Kratki odgovori, smanjenje | Rečenice, inačica 1 → 2 |
|---|---|---|
| srpski | 51% | 1,45% → 1,41% |
| hrvatski | 44% | 2,97% → 2,75% |
| bosanski | 49% | 1,91% → 1,65% |
| njemački | 36% | 1,53% → 1,26% |
| francuski | 27% | 3,45% → 2,55% |
| španjolski | 32% | 1,12% → 1,10% |
| talijanski | 40% | 0,90% → 0,83% |
| portugalski | 31% | 1,59% → 1,43% |
Srednja Europa, Skandinavija i Benelux
Još jedanaest jezika iz istih mjerenja.
| Jezik | Kratki odgovori, smanjenje | Rečenice, inačica 1 → 2 |
|---|---|---|
| poljski | 42% | 2,20% → 1,89% |
| češki | 41% | 2,12% → 1,96% |
| slovački | 40% | 1,53% → 1,39% |
| mađarski | 44% | 2,72% → 2,53% |
| rumunjski | 36% | 2,44% → 2,21% |
| bugarski | 52% | 2,41% → 2,37% |
| švedski | 39% | 3,11% → 2,83% |
| norveški bokmål | 39% | 2,03% → 1,99% |
| danski | 32% | 3,64% → 3,58% |
| finski | 47% | 1,34% → 1,36% |
| nizozemski | 30% | 2,15% → 1,78% |
Najveća poboljšanja
| Jezik | Smanjenje stope pogrešaka |
|---|---|
| tadžički | 71% |
| filipinski | 66% |
| estonski | 63% |
| arapski | 59% |
| makedonski | 57% |
Svih 48 jezika
| Jezik | Smanjenje stope pogrešaka |
|---|---|
| arapski | 59% |
| armenski | 43% |
| azerbajdžanski | 43% |
| bjeloruski | 39% |
| bosanski | 49% |
| bugarski | 52% |
| katalonski | 30% |
| hrvatski | 44% |
| češki | 41% |
| danski | 32% |
| nizozemski | 30% |
| engleski | 38% |
| estonski | 63% |
| filipinski | 66% |
| finski | 47% |
| francuski | 27% |
| galicijski | 22% |
| gruzijski | 42% |
| njemački | 36% |
| grčki | 41% |
| hebrejski | 42% |
| mađarski | 44% |
| islandski | 39% |
| indonezijski | 42% |
| irski | 22% |
| talijanski | 40% |
| kazaški | 44% |
| kirgiski | 47% |
| latvijski | 38% |
| litavski | 45% |
| luksemburški | 41% |
| makedonski | 57% |
| malteški | 36% |
| norveški bokmål | 39% |
| poljski | 42% |
| portugalski | 31% |
| rumunjski | 36% |
| ruski | 34% |
| srpski | 51% |
| slovački | 40% |
| slovenski | 54% |
| španjolski | 32% |
| švedski | 39% |
| tadžički | 71% |
| turski | 40% |
| ukrajinski | 44% |
| uzbečki | 42% |
| velški | 41% |
Stvarni pozivi
Na zvuku iz pozivnih centara pogreška kalibracije ocjene pouzdanosti pala je s 0,193 na 0,051, što je smanjenje od 74%.
Kako su nastali brojevi
- Snimke. Snimke na svakom jeziku, ocijenjene čiste i kroz telefonski kodek G.711. Tablice prikazuju prosjek to dvoje.
- Govorni isječci. Svaku rečenicu uzimamo cijelu, a zatim je režemo na kratke odgovore od jedne do tri riječi na prirodnim stankama: tišina od najmanje 150 ms s obje strane, od koje zadržavamo 80 ms. Kratak odgovor izrezan na taj način zvuči kao odgovor, a ne kao odsječen komadić.
- Statistika. Promjene imaju 95-postotne intervale uparene po rečenicama. Tvrdnja da se poboljšava svih 48 jezika koristi Holmovu korekciju preko jezika.
Stranica Jezici ocjenjuje svaki jezik prema ovim mjerenjima, od A++ do B+. Ocjenu A++ drži 37 od 48 jezika.