Oasis Speech je naše interno prepoznavanje govora. Verzija 2 je arhitektonska promjena modela, napravljena radi tačnosti i kvaliteta prepoznavanja na telefonskim pozivima. Uporedili smo je sa verzijom 1 na istim snimcima, na svih 48 jezika koje prepoznaje, na punim rečenicama i na kratkim odgovorima od jedne do tri riječi.
Svaki jezik je mjeren u telefonskom kvalitetu: svaki odgovor ocjenjivali smo onakav kakav je snimljen i nakon telefonskog kodeka G.711. Kratki odgovori su isječeni na prirodnim pauzama. Detalji su u posljednjem odjeljku.
Na kratkim odgovorima Oasis Speech 2 smanjuje stopu grešaka za 44% (medijana na 48 jezika), a svih 48 jezika je napredovalo. Kratak odgovor stiže za oko 150 ms u medijani i za oko 210 ms u 95. percentilu.
Zašto kratki odgovori
Telefonski razgovor su uglavnom kratki odgovori: „Da.“ „Utorak.“ „Ne, onaj drugi broj.“ Prezime izgovoreno slovo po slovo. Prepoznavači se obično grade i testiraju na rečenicama, a odgovor od jedne riječi je slučaj sa kojim se najlošije nose. Jedna riječ ne daje prepoznavaču nikakav kontekst na koji bi se oslonio, a jedan pogrešan znak je veliki dio riječi.
Grešku plaća agent. Pogrešno „da“ ili pogrešno čuto prezime postaje pogrešna rezervacija ili zbunjen klijent. Zato mjerimo dvaput: na punim rečenicama, gdje je većina prepoznavača dobra, i na odgovorima od jedne do tri riječi, gdje se razlika vidi. Najkraći odgovori su najteži detaljno objašnjava problem kratkih odgovora.
Šta je verzija 2
Verzija 1 je svaki odgovor prepoznavala u jednom prolazu.
Verzija 2 je arhitektonska promjena modela, napravljena oko jednog cilja: tačnosti i kvaliteta prepoznavanja na telefonskim pozivima. Projektovali smo je prema tome kako zvuči poziv: kratki odgovori, uskopojasni zvuk, buka u pozadini, pozivalac koji počne usred riječi.
Šta primjećuju pozivalac i agent:
- Manje grešaka na kratkim odgovorima, na svih 48 jezika.
- Tišina ostaje prazna. Oasis Speech vraća prazan rezultat za kašalj, pucketanje na liniji ili glas u pozadini i ne izmišlja riječ.
- Ocjena pouzdanosti koja nešto znači. Ocjena 0,8 znači da je otprilike četiri riječi od pet u tom odgovoru tačno, i za odgovor od jedne riječi i za rečenicu. Agent je koristi da ponovo upita umjesto da pogađa.
- Podešavanje po jeziku. Svaki jezik podešavamo na njegovim podacima, a rezultati idu uz servis.
- Brzina u realnom vremenu. Kratak odgovor stiže za oko 150 ms u medijani i za oko 210 ms u 95. percentilu.
Rezultati na 48 jezika
Oasis Speech 2 smanjuje stopu grešaka na kratkim odgovorima u odnosu na verziju 1. Medijane na 48 jezika; kratki odgovori imaju jednu do tri riječi. Svaki odgovor je ocijenjen čist i kroz G.711, telefonski kodek, a tabele prikazuju prosjek ta dva.
| Dužina odgovora | Smanjenje stope grešaka |
|---|---|
| Jedna riječ | 49% |
| Dvije riječi | 42% |
| Tri riječi | 41% |
| Svi kratki odgovori | 44% |
Svih 48 jezika napreduje na kratkim odgovorima, a promjena je značajna u svih 48 nakon korekcije za višestruka poređenja. Što je odgovor kraći, to je dobit veća.
Na punim rečenicama, gdje su prepoznavači već jaki, medijana stope grešaka je 2,17% (niže je bolje):
| Mjera | Verzija 1 | Verzija 2 | Smanjenje stope grešaka |
|---|---|---|---|
| Stopa grešaka, rečenice | 2,29% | 2,17% | 5% |
Rečenice su već bile dobre, pa većina dobiti pada tamo gdje je pozivaocima potrebna: u prvim riječima odgovora.
Osam jezika izbliza
Kratki odgovori i rečenice, u odnosu na verziju 1.
| Jezik | Kratki odgovori, smanjenje | Rečenice, v1 → v2 |
|---|---|---|
| Srpski | 51% | 1,45% → 1,41% |
| Hrvatski | 44% | 2,97% → 2,75% |
| Bosanski | 49% | 1,91% → 1,65% |
| Njemački | 36% | 1,53% → 1,26% |
| Francuski | 27% | 3,45% → 2,55% |
| Španski | 32% | 1,12% → 1,10% |
| Italijanski | 40% | 0,90% → 0,83% |
| Portugalski | 31% | 1,59% → 1,43% |
Srednja Evropa, Skandinavija i Beneluks
Još jedanaest jezika iz istih mjerenja.
| Jezik | Kratki odgovori, smanjenje | Rečenice, v1 → v2 |
|---|---|---|
| Poljski | 42% | 2,20% → 1,89% |
| Češki | 41% | 2,12% → 1,96% |
| Slovački | 40% | 1,53% → 1,39% |
| Mađarski | 44% | 2,72% → 2,53% |
| Rumunski | 36% | 2,44% → 2,21% |
| Bugarski | 52% | 2,41% → 2,37% |
| Švedski | 39% | 3,11% → 2,83% |
| Norveški (bokmål) | 39% | 2,03% → 1,99% |
| Danski | 32% | 3,64% → 3,58% |
| Finski | 47% | 1,34% → 1,36% |
| Holandski | 30% | 2,15% → 1,78% |
Najveći napredak
| Jezik | Smanjenje stope grešaka |
|---|---|
| Tadžički | 71% |
| Filipinski | 66% |
| Estonski | 63% |
| Arapski | 59% |
| Makedonski | 57% |
Svih 48 jezika
| Jezik | Smanjenje stope grešaka |
|---|---|
| Arapski | 59% |
| Azerbejdžanski | 43% |
| Bjeloruski | 39% |
| Bosanski | 49% |
| Bugarski | 52% |
| Češki | 41% |
| Danski | 32% |
| Engleski | 38% |
| Estonski | 63% |
| Filipinski | 66% |
| Finski | 47% |
| Francuski | 27% |
| Galicijski | 22% |
| Grčki | 41% |
| Gruzijski | 42% |
| Hebrejski | 42% |
| Holandski | 30% |
| Hrvatski | 44% |
| Indonežanski | 42% |
| Irski | 22% |
| Islandski | 39% |
| Italijanski | 40% |
| Jermenski | 43% |
| Katalonski | 30% |
| Kazaški | 44% |
| Kirgiski | 47% |
| Letonski | 38% |
| Litvanski | 45% |
| Luksemburški | 41% |
| Makedonski | 57% |
| Mađarski | 44% |
| Malteški | 36% |
| Njemački | 36% |
| Norveški (bokmål) | 39% |
| Poljski | 42% |
| Portugalski | 31% |
| Rumunski | 36% |
| Ruski | 34% |
| Slovački | 40% |
| Slovenački | 54% |
| Srpski | 51% |
| Španski | 32% |
| Švedski | 39% |
| Tadžički | 71% |
| Turski | 40% |
| Ukrajinski | 44% |
| Uzbečki | 42% |
| Velški | 41% |
Pravi pozivi
Na zvuku iz kontakt centara greška kalibracije ocjene pouzdanosti pala je sa 0,193 na 0,051, što je smanjenje od 74%.
Kako su dobijeni brojevi
- Snimci. Snimci na svakom jeziku, ocijenjeni čisti i kroz telefonski kodek G.711. Tabele prikazuju prosjek ta dva.
- Odgovori. Svaku rečenicu koristimo cijelu, a zatim je isječemo na kratke odgovore od jedne do tri riječi na prirodnim pauzama: tišina od najmanje 150 ms sa obje strane, od koje zadržavamo 80 ms. Kratak odgovor isječen na ovaj način zvuči kao odgovor, a ne kao odsječen fragment.
- Statistika. Promjene imaju 95% intervale, uparene po rečenicama. Tvrdnja da svih 48 jezika napreduje koristi Holmovu korekciju preko jezika.
Stranica Jezici ocjenjuje svaki jezik na osnovu ovih mjerenja, od A++ do B+. Ocjenu A++ drži 37 od 48 jezika.