Oasis Speech je naše vlastito prepoznavanje govora. Verzija 2 je arhitektonska promjena modela, napravljena radi tačnosti i kvaliteta prepoznavanja na telefonskim pozivima. Uporedili smo je s verzijom 1 na istim snimcima u svih 48 jezika koje prepoznaje, na cijelim rečenicama i na kratkim odgovorima od jedne do tri riječi.
Svaki jezik se mjeri u telefonskom kvalitetu: svaku repliku ocjenjivali smo onako kako je snimljena i nakon telefonskog kodeka G.711. Kratke odgovore izdvajamo na prirodnim pauzama. Detalji su u posljednjem odjeljku.
Na kratkim odgovorima Oasis Speech 2 smanjuje stopu grešaka za 44% (medijan u 48 jezika), a svih 48 jezika je napredovalo. Kratak odgovor stiže za oko 150 ms u medijanu i za oko 210 ms u 95. percentilu.
Zašto kratki odgovori
Telefonski razgovor se uglavnom sastoji od kratkih odgovora: „Da.“ „Utorak.“ „Ne, onaj drugi broj.“ Prezime izgovoreno slovo po slovo. Prepoznavači se obično grade i testiraju na rečenicama, a replika od jedne riječi je slučaj s kojim se najlošije nose. Jedna riječ ne daje prepoznavaču nikakav kontekst na koji bi se oslonio, a jedan pogrešan znak je veliki dio riječi.
Grešku plaća agent. Pogrešno „da“ ili pogrešno čuto prezime postaje pogrešna rezervacija ili zbunjen klijent. Zato mjerimo dvaput: na cijelim rečenicama, gdje većina prepoznavača radi dobro, i na odgovorima od jedne do tri riječi, gdje se razlika vidi. Najkraći odgovori su najteži detaljno objašnjava problem kratkih odgovora.
Šta je verzija 2
Verzija 1 je svaku repliku prepoznavala u jednom prolazu.
Verzija 2 je arhitektonska promjena modela, izgrađena oko jednog cilja: tačnosti i kvaliteta prepoznavanja na telefonskim pozivima. Projektovali smo je prema tome kako zvuči poziv: kratki odgovori, uskopojasni zvuk, buka u pozadini, pozivalac koji počne usred riječi.
Šta primijete pozivalac i agent:
- Manje grešaka na kratkim odgovorima, u svih 48 jezika.
- Tišina ostaje prazna. Oasis Speech vraća prazan rezultat za kašalj, pucketanje na liniji ili glas u pozadini i ne izmišlja riječ.
- Ocjena pouzdanosti koja nešto znači. Ocjena 0,8 znači da su oko četiri od pet riječi te replike tačne, i za odgovor od jedne riječi i za cijelu rečenicu. Agent je koristi da ponovo pita umjesto da nagađa.
- Podešavanje po jeziku. Svaki jezik podešavamo na njegovim vlastitim podacima, a rezultati dolaze sa servisom.
- Brzina u realnom vremenu. Kratka replika stiže za oko 150 ms u medijanu i za oko 210 ms u 95. percentilu.
Rezultati u 48 jezika
Oasis Speech 2 smanjuje stopu grešaka na kratkim odgovorima u odnosu na verziju 1. Medijani u 48 jezika; kratki odgovori imaju od jedne do tri riječi. Svaka replika je ocijenjena čista i kroz G.711, telefonski kodek, a tabele prikazuju prosjek ta dva rezultata.
| Dužina odgovora | Smanjenje stope grešaka |
|---|---|
| Jedna riječ | 49% |
| Dvije riječi | 42% |
| Tri riječi | 41% |
| Svi kratki odgovori | 44% |
Svih 48 jezika napreduje na kratkim odgovorima, a promjena je značajna u svih 48 nakon korekcije za višestruka poređenja. Što je odgovor kraći, to je dobitak veći.
Na cijelim rečenicama, gdje su prepoznavači već jaki, medijan stope grešaka je 2,17% (manje je bolje):
| Mjera | Verzija 1 | Verzija 2 | Smanjenje stope grešaka |
|---|---|---|---|
| Stopa grešaka, rečenice | 2,29% | 2,17% | 5% |
Rečenice su već bile dobre, pa najveći dio dobitka dolazi tamo gdje je pozivaocima potreban: u prvim riječima odgovora.
Osam jezika izbliza
Kratki odgovori i rečenice, u odnosu na verziju 1.
| Jezik | Kratki odgovori, smanjenje | Rečenice, v1 → v2 |
|---|---|---|
| Srpski | 51% | 1,45% → 1,41% |
| Hrvatski | 44% | 2,97% → 2,75% |
| Bosanski | 49% | 1,91% → 1,65% |
| Njemački | 36% | 1,53% → 1,26% |
| Francuski | 27% | 3,45% → 2,55% |
| Španski | 32% | 1,12% → 1,10% |
| Italijanski | 40% | 0,90% → 0,83% |
| Portugalski | 31% | 1,59% → 1,43% |
Srednja Evropa, sjever i Beneluks
Još jedanaest jezika iz istih mjerenja.
| Jezik | Kratki odgovori, smanjenje | Rečenice, v1 → v2 |
|---|---|---|
| Poljski | 42% | 2,20% → 1,89% |
| Češki | 41% | 2,12% → 1,96% |
| Slovački | 40% | 1,53% → 1,39% |
| Mađarski | 44% | 2,72% → 2,53% |
| Rumunski | 36% | 2,44% → 2,21% |
| Bugarski | 52% | 2,41% → 2,37% |
| Švedski | 39% | 3,11% → 2,83% |
| Norveški bokmål | 39% | 2,03% → 1,99% |
| Danski | 32% | 3,64% → 3,58% |
| Finski | 47% | 1,34% → 1,36% |
| Holandski | 30% | 2,15% → 1,78% |
Najveći dobici
| Jezik | Smanjenje stope grešaka |
|---|---|
| Tadžički | 71% |
| Filipinski | 66% |
| Estonski | 63% |
| Arapski | 59% |
| Makedonski | 57% |
Svih 48 jezika
| Jezik | Smanjenje stope grešaka |
|---|---|
| Arapski | 59% |
| Armenski | 43% |
| Azerbejdžanski | 43% |
| Bjeloruski | 39% |
| Bosanski | 49% |
| Bugarski | 52% |
| Češki | 41% |
| Danski | 32% |
| Engleski | 38% |
| Estonski | 63% |
| Filipinski | 66% |
| Finski | 47% |
| Francuski | 27% |
| Galicijski | 22% |
| Grčki | 41% |
| Gruzijski | 42% |
| Hebrejski | 42% |
| Holandski | 30% |
| Hrvatski | 44% |
| Indonezijski | 42% |
| Irski | 22% |
| Islandski | 39% |
| Italijanski | 40% |
| Katalonski | 30% |
| Kazaški | 44% |
| Kirgiški | 47% |
| Latvijski | 38% |
| Litvanski | 45% |
| Luksemburški | 41% |
| Mađarski | 44% |
| Makedonski | 57% |
| Malteški | 36% |
| Njemački | 36% |
| Norveški bokmål | 39% |
| Poljski | 42% |
| Portugalski | 31% |
| Rumunski | 36% |
| Ruski | 34% |
| Slovački | 40% |
| Slovenski | 54% |
| Srpski | 51% |
| Španski | 32% |
| Švedski | 39% |
| Tadžički | 71% |
| Turski | 40% |
| Ukrajinski | 44% |
| Uzbečki | 42% |
| Velški | 41% |
Stvarni pozivi
Na zvuku iz pozivnih centara greška kalibracije ocjene pouzdanosti pala je s 0,193 na 0,051, što je smanjenje od 74%.
Kako su dobijeni brojevi
- Snimci. Snimci na svakom jeziku, ocijenjeni čisti i kroz telefonski kodek G.711. Tabele prikazuju prosjek ta dva rezultata.
- Replike. Svaku rečenicu koristimo cijelu, a izdvajamo i kratke odgovore od jedne do tri riječi na prirodnim pauzama: tišina od najmanje 150 ms sa obje strane, od koje zadržavamo 80 ms. Kratak odgovor izrezan na taj način zvuči kao odgovor, a ne kao odsječen fragment.
- Statistika. Promjene imaju 95% intervale, uparene po rečenicama. Tvrdnja da se svih 48 jezika poboljšava koristi Holmovu korekciju preko jezika.
Stranica Jezici ocjenjuje svaki jezik prema ovim mjerenjima, od A++ do B+. Ocjenu A++ ima 37 od 48 jezika.