„Da“, „četvrtak“, „ne, onaj drugi“. Većina onoga što pozivatelj kaže agentu je nekoliko riječi, a nekoliko riječi najteže je ispravno prepoznati. Ova bilješka objašnjava zašto i opisuje putanju za kratke odgovore koju smo ugradili u Oasis Speech 2. Rezultati po jezicima nalaze se u tekstu Oasis Speech 2: prepoznavanje na 48 jezika.
Mjerili smo na 48 jezika koje Oasis Speech prepoznaje, u telefonskoj kvaliteti: svaki iskaz čist i kroz telefonski kodek G.711, uz snimke stvarnih ljudi koji izgovaraju kratke govorne zahtjeve. Inačica 1 i inačica 2 servisa Oasis Speech obrađivale su isti zvuk.
Oasis Speech 2 smanjuje stopu pogrešaka na odgovorima od jedne riječi za 49% (medijan na 48 jezika), a na kratkim odgovorima poboljšali su se svih 48 jezika, svaka promjena statistički značajna. Kratak odgovor prepoznaje se za oko 150 ms u medijanu (95. percentil oko 210 ms), a na zvuku iz pozivnih centara pogreška kalibracije ocjene pouzdanosti pala je za 74%.
Telefonski poziv sastoji se od kratkih odgovora
Poslušajte servisni poziv sa strane pozivatelja. „Da.“ „Utorak.“ „Ne, drugi broj.“ „Petrović.“ „Četiri četiri jedan sedam.“ Agent pita, a pozivatelj odgovara s jednom do tri riječi.
Te riječi nose poziv. Krivo shvaćeno „da“ rezervira pogrešan termin. Krivo shvaćeno prezime stvara drugi zapis o kupcu. Krivo shvaćena znamenka šalje podsjetnik na pogrešan račun.
Timovi prepoznavanje govora obično grade, podešavaju i testiraju na rečenicama. Na rečenici konvencionalni prepoznavač pogriješi na otprilike dva znaka od sto. Na jednoj riječi izrezanoj iz istog govora konvencionalni prepoznavač može pogriješiti na jednom znaku od dva. Kratki odgovori najteži su slučaj za prepoznavanje, a na pozivu najčešći.
Zašto je kratko teško
Na kratkom odgovoru zbraja se šest učinaka. Svaki je malen na rečenici, a velik na riječi.
Manjak konteksta
Prepoznavanje se oslanja na kontekst. Unutar rečenice prepoznavač predviđa svaku riječ prema susjednima, a susjedne riječi isključuju većinu pogrešnih kandidata. Riječ sama nema susjeda. Jedini dokaz je zvuk.
Proračun dokaza
Odgovor od jedne riječi traje 300 do 600 ms. Klik na liniji, dah ili artefakt kodeka pokriva mnogo veći dio tog odgovora nego rečenice od pet sekundi, a oko njega nema ničega što bi štetu prosječno ublažilo.
Osjetljivi rubovi
Prvi i zadnji glas iskaza najlakše je izgubiti: govornik počinje tiho, otkrivanje glasa otvori se djelić sekunde prekasno, zadnji suglasnik utihne. U rečenici su to dva glasa od pedeset. U riječi „da“ to su dva od tri.
Uski pojas
Telefonska linija prenosi otprilike 300 do 3.400 Hz. Suglasnici po kojima se mnoge riječi razlikuju (s, f, š i th) veći dio energije imaju iznad te granice. U rečenici ih vraća kontekst. U samoj riječi ne vraća ih ništa.
Privlačnost tišine
Prepoznavač naučen na tečnom govoru želi proizvoditi riječi. Dobije li dah, kašalj ili nekoliko stotina milisekundi šuma na liniji, sklon je vratiti kratku, uvjerljivu riječ: „da“, „u redu“, „halo“. Kratki iskazi sadrže mnogo više takvog zvuka nego rečenice.
Nepopustljiva metrika
Jedno pogrešno slovo u riječi „da“ je trećina riječi. Iste pogreške koje rečenici koštaju jedan bod pogreške, kratkom odgovoru koštaju trideset.
Zasebna putanja
Oasis Speech 2 kratak iskaz tretira kao zaseban problem. Kad je iskaz kraći od nekoliko sekundi, ide posebnom putanjom za kratke odgovore, do koje rečenice nikad ne dolaze. Ta putanja radi četiri stvari koje prepoznavaču rečenica nisu potrebne.
Važe više čitanja prije odgovora
Putanja za kratke odgovore zadržava nekoliko konkurentnih čitanja umjesto da se obveže na prvi transkript koji nađe. Među njima bira prema dokazima koji su važni za kratak odgovor: koliko se svako slaže sa zvukom, koliko je uvjerljivo kao nešto što čovjek kaže u odgovoru i odgovara li njegova duljina duljini govora.
Zna koliko odgovor treba biti dug
Na kratkom zvuku prepoznavač sklon je izostaviti riječ ili izmisliti jednu. Provjera duljine, podešena po jeziku, drži odgovor unutar onoga što trajanje govora može sadržavati.
Tišinu drži tihom
Zasebni filtar za zvukove koji nisu govor promatra akustiku iskaza. Za kašalj, klik ili glas u pozadini vraća prazan rezultat umjesto izmišljenog „da“. Na stvarnim snimkama kratkih odgovora filtar nije smetao: ispraznio je najviše 0,2% stvarnih kratkih odgovora.
Kaže koliko je siguran
Svaki rezultat nosi ocjenu pouzdanosti, kalibriranu tako da 0,8 znači da je otprilike četiri riječi od pet u tom iskazu točno, jednako za odgovor od jedne riječi i za rečenicu. Na zvuku iz pozivnih centara pogreška kalibracije pala je za 74%. Agent koristi tu ocjenu: ispod praga traži od pozivatelja da ponovi umjesto da pogađa ime ili znamenku.
Podešena za svaki jezik
Putanju podešavamo zasebno za svaki od 48 jezika, na kratkim odgovorima tretiranima kao vlastita kategorija, a ne kao usputni proizvod rečenica. Postavke jezika isporučuju se samo ako je dobitak statistički siguran: uparen bootstrap interval promjene u cijelosti leži ispod nule.
Putanja održava prepoznavanje brzim. Kratak odgovor vraća se za oko 150 ms u medijanu i oko 210 ms u 95. percentilu.
Kako smo mjerili
- 48 jezika, mjereno u telefonskoj kvaliteti.
- Obje linije. Svaki iskaz mjerimo dvaput: onako kako je snimljen i nakon prolaska kroz G.711, kodek obične telefonske linije. Brojke su prosjek to dvoje.
- Kratki iskazi izrezani kao odgovori. Iz svake rečenice uzimamo jedan dug iskaz i dva kratka od jedne do tri riječi. Kratak iskaz režemo na prirodnoj stanci kad je moguće, zadržavamo 80 ms tišine oko njega i nadopunjujemo ga tišinom iz iste snimke, nikad susjednim riječima.
- Iskazi nalik odgovoru. Podskup kratkih iskaza s tišinom s obje strane i bez usamljene umetnute riječi: ono najbliže odgovoru pozivatelja.
- Inačica 1 prema inačici 2 na istom zvuku, izrezanom i nadopunjenom na isti način.
- Statistika. Medijani preko jezika s 95-postotnim intervalima koji uzorkuju i jezike i rečenice unutar svakog. Jezik se računa kao poboljšan samo ako njegova promjena ostane značajna nakon Holmove korekcije preko svih 48.
Rezultati
Oasis Speech 2 smanjuje stopu pogrešaka na kratkim odgovorima u odnosu na inačicu 1. Medijan na 48 jezika.
| Kratki odgovori | Smanjenje stope pogrešaka | Poboljšanih jezika |
|---|---|---|
| Jedna riječ | 49% | 48 / 48 |
| Dvije riječi | 42% | 48 / 48 |
| Tri riječi | 41% | 48 / 48 |
| Svi kratki iskazi | 44% | 48 / 48 |
| Iskazi nalik odgovoru | 43% | 36 / 47, nijedan lošiji |
Osam jezika izbliza
| Jezik | Smanjenje stope pogrešaka |
|---|---|
| srpski | 51% |
| bosanski | 49% |
| hrvatski | 44% |
| talijanski | 40% |
| njemački | 36% |
| španjolski | 32% |
| portugalski | 31% |
| francuski | 27% |
Na stvarnim kratkim snimkama
Mjerili smo i na snimkama stvarnih ljudi koji vlastitim glasom izgovaraju kratke govorne zahtjeve od jedne do tri riječi. Oasis Speech 2 na njima smanjuje stopu pogrešaka, kroz telefonski kodek G.711:
| Jezik | Smanjenje stope pogrešaka |
|---|---|
| španjolski | 27% |
| njemački | 41% |
| nizozemski | 30% |
| turski | 33% |
| portugalski | 31% |
| poljski | 29% |
| francuski | 40% |
| mađarski | 52% |
| arapski | 34% |
Inačica 2 pobijedila je inačicu 1 na svakom jeziku ovdje, i na čistom zvuku i kroz telefonski kodek. To su brojke za kratke iskaze najbliže tome kako zvuči pozivatelj. Na čistom zvuku stopa pogrešaka na španjolskim kratkim odgovorima iznosi 2,9%, a na njemačkim 4,0% (niže je bolje).
Što agent radi s tim
Agent se nadovezuje na ono što prepoznavanje vrati:
- Čita natrag ono što je važno. Agent pozivatelju čita natrag imena, brojeve, iznose i datume prije nego što ih zabilježi.
- Ponovno pita umjesto da pogađa. Kad je ocjena pouzdanosti niska, agent traži od pozivatelja da ponovi i nikad ne upisuje znamenku koju nije čuo.
- Namjerno testiramo loše prepoznavanje. Polygon agentima daje iskrivljen tekst, ispuštene riječi, znamenke čitane jednu po jednu i riječi koje zvuče slično, kako bi provjerio da se agent snalazi kad prepoznavanje zakaže. Metodu opisuje tekst Kako ocjenjujemo razgovor.
Stranica Jezici ocjenjuje svaki od 48 jezika koje agent čuje i govori.