Oasis Speech je naše sopstveno prepoznavanje govora. Verzija 2 je arhitektonska promena modela, napravljena radi tačnosti i kvaliteta prepoznavanja na telefonskim pozivima. Uporedili smo je s verzijom 1 na istim snimcima, na svih 48 jezika koje prepoznaje, na celim rečenicama i na kratkim odgovorima od jedne do tri reči.
Svaki jezik je izmeren u telefonskom kvalitetu: svaku repliku ocenili smo onakvu kakva je snimljena i nakon telefonskog kodeka G.711. Kratki odgovori se seku na prirodnim pauzama. Detalji su u poslednjem odeljku.
Na kratkim odgovorima Oasis Speech 2 smanjuje stopu grešaka za 44% (medijana za 48 jezika), a napredovalo je svih 48 jezika. Kratak odgovor se vraća za oko 150 ms u medijani i za oko 210 ms na 95. percentilu.
Zašto kratki odgovori
Telefonski razgovor se uglavnom sastoji od kratkih odgovora: „Da.“ „Utorak.“ „Ne, onaj drugi broj.“ Prezime izgovoreno slovo po slovo. Prepoznavači se obično prave i testiraju na rečenicama, a replika od jedne reči je slučaj s kojim se najgore nose. Jedna reč ne daje prepoznavaču kontekst na koji bi se oslonio, a jedan pogrešan znak je veliki deo reči.
Grešku plaća agent. Pogrešno „da“ ili pogrešno čuto prezime postaje pogrešna rezervacija ili zbunjen klijent. Zato merimo dvaput: na celim rečenicama, gde većina prepoznavača dobro radi, i na odgovorima od jedne do tri reči, gde se razlika vidi. Najkraći odgovori su najteži detaljno objašnjava problem kratkih odgovora.
Šta je verzija 2
Verzija 1 je prepoznavala svaku repliku u jednom prolazu.
Verzija 2 je arhitektonska promena modela, napravljena s jednim ciljem: tačnost i kvalitet prepoznavanja na telefonskim pozivima. Projektovali smo je prema tome kako zvuči poziv: kratki odgovori, uskopojasni zvuk, buka u pozadini, pozivalac koji počne usred reči.
Šta primećuju pozivalac i agent:
- Manje grešaka na kratkim odgovorima, na svih 48 jezika.
- Tišina ostaje prazna. Za kašalj, pucketanje na liniji ili glas u pozadini Oasis Speech vraća prazan rezultat i ne izmišlja reč.
- Ocena pouzdanosti koja nešto znači. Ocena 0,8 znači da je otprilike četiri reči od pet u toj replici tačno, i za odgovor od jedne reči i za celu rečenicu. Agent je koristi da pita ponovo umesto da pogađa.
- Podešavanje po jeziku. Svaki jezik podešavamo na njegovim podacima, a rezultati idu uz servis.
- Brzina u realnom vremenu. Kratka replika se vraća za oko 150 ms u medijani i za oko 210 ms na 95. percentilu.
Rezultati na 48 jezika
Oasis Speech 2 smanjuje stopu grešaka na kratkim odgovorima u poređenju s verzijom 1. Medijane za 48 jezika; kratki odgovori imaju od jedne do tri reči. Svaka replika se ocenjuje čista i kroz G.711, telefonski kodek, a tabele prikazuju prosek to dvoje.
| Dužina odgovora | Smanjenje stope grešaka |
|---|---|
| Jedna reč | 49% |
| Dve reči | 42% |
| Tri reči | 41% |
| Svi kratki odgovori | 44% |
Svih 48 jezika napreduje na kratkim odgovorima, a promena je značajna u svih 48 i nakon korekcije za višestruka poređenja. Što je odgovor kraći, dobitak je veći.
Na celim rečenicama, gde su prepoznavači već jaki, medijana stope grešaka je 2,17% (manje je bolje):
| Mera | Verzija 1 | Verzija 2 | Smanjenje stope grešaka |
|---|---|---|---|
| Stopa grešaka, rečenice | 2,29% | 2,17% | 5% |
Rečenice su već bile dobre, pa najveći deo dobitka pada tamo gde je pozivaocima potreban: u prvim rečima odgovora.
Osam jezika izbliza
Kratki odgovori i rečenice, u poređenju s verzijom 1.
| Jezik | Kratki odgovori, smanjenje | Rečenice, v1 → v2 |
|---|---|---|
| Srpski | 51% | 1,45% → 1,41% |
| Hrvatski | 44% | 2,97% → 2,75% |
| Bosanski | 49% | 1,91% → 1,65% |
| Nemački | 36% | 1,53% → 1,26% |
| Francuski | 27% | 3,45% → 2,55% |
| Španski | 32% | 1,12% → 1,10% |
| Italijanski | 40% | 0,90% → 0,83% |
| Portugalski | 31% | 1,59% → 1,43% |
Centralna Evropa, Skandinavija i Benelaks
Još jedanaest jezika iz istih merenja.
| Jezik | Kratki odgovori, smanjenje | Rečenice, v1 → v2 |
|---|---|---|
| Poljski | 42% | 2,20% → 1,89% |
| Češki | 41% | 2,12% → 1,96% |
| Slovački | 40% | 1,53% → 1,39% |
| Mađarski | 44% | 2,72% → 2,53% |
| Rumunski | 36% | 2,44% → 2,21% |
| Bugarski | 52% | 2,41% → 2,37% |
| Švedski | 39% | 3,11% → 2,83% |
| Norveški (bokmål) | 39% | 2,03% → 1,99% |
| Danski | 32% | 3,64% → 3,58% |
| Finski | 47% | 1,34% → 1,36% |
| Holandski | 30% | 2,15% → 1,78% |
Najveći dobici
| Jezik | Smanjenje stope grešaka |
|---|---|
| Tadžički | 71% |
| Filipinski | 66% |
| Estonski | 63% |
| Arapski | 59% |
| Makedonski | 57% |
Svih 48 jezika
| Jezik | Smanjenje stope grešaka |
|---|---|
| Arapski | 59% |
| Azerbejdžanski | 43% |
| Beloruski | 39% |
| Bosanski | 49% |
| Bugarski | 52% |
| Češki | 41% |
| Danski | 32% |
| Engleski | 38% |
| Estonski | 63% |
| Filipinski | 66% |
| Finski | 47% |
| Francuski | 27% |
| Galicijski | 22% |
| Grčki | 41% |
| Gruzijski | 42% |
| Hebrejski | 42% |
| Holandski | 30% |
| Hrvatski | 44% |
| Indonežanski | 42% |
| Irski | 22% |
| Islandski | 39% |
| Italijanski | 40% |
| Jermenski | 43% |
| Katalonski | 30% |
| Kazaški | 44% |
| Kirgiski | 47% |
| Letonski | 38% |
| Litvanski | 45% |
| Luksemburški | 41% |
| Mađarski | 44% |
| Makedonski | 57% |
| Malteški | 36% |
| Nemački | 36% |
| Norveški (bokmål) | 39% |
| Poljski | 42% |
| Portugalski | 31% |
| Rumunski | 36% |
| Ruski | 34% |
| Slovački | 40% |
| Slovenački | 54% |
| Srpski | 51% |
| Španski | 32% |
| Švedski | 39% |
| Tadžički | 71% |
| Turski | 40% |
| Ukrajinski | 44% |
| Uzbečki | 42% |
| Velški | 41% |
Pravi pozivi
Na zvuku iz pozivnih centara greška kalibracije ocene pouzdanosti pala je sa 0,193 na 0,051, što je smanjenje od 74%.
Kako su brojevi nastali
- Snimci. Snimci na svakom jeziku, ocenjeni čisti i kroz telefonski kodek G.711. Tabele prikazuju prosek to dvoje.
- Replike. Koristimo svaku rečenicu celu, a zatim je sečemo na kratke odgovore od jedne do tri reči na prirodnim pauzama: tišina od najmanje 150 ms s obe strane, od koje zadržavamo 80 ms. Tako sečen kratak odgovor zvuči kao odgovor, a ne kao odsečen fragment.
- Statistika. Promene imaju 95% intervale, upareno po rečenicama. Tvrdnja da se svih 48 jezika poboljšalo koristi Holmovu korekciju preko jezika.
Stranica Jezici ocenjuje svaki jezik prema ovim merenjima, od A++ do B+. Ocenu A++ drži 37 od 48 jezika.