„Da“, „četvrtak“, „ne, onaj drugi“. Većina onoga što pozivalac kaže agentu je nekoliko reči, a nekoliko reči je ono što prepoznavanje govora najteže pogađa. Ova beleška objašnjava zašto i opisuje put za kratke odgovore koji smo ugradili u Oasis Speech 2. Rezultati po jezicima nalaze se u tekstu Oasis Speech 2: prepoznavanje govora na 48 jezika.
Merili smo na 48 jezika koje Oasis Speech prepoznaje, u telefonskom kvalitetu: svaka replika čista i provedena kroz telefonski kodek G.711, uz snimke pravih ljudi koji izgovaraju kratke zahteve. Verzija 1 i verzija 2 sistema Oasis Speech radile su na istom zvuku.
Oasis Speech 2 smanjuje stopu grešaka na odgovorima od jedne reči za 49% (medijana za 48 jezika), a svih 48 jezika je napredovalo na kratkim odgovorima, svaka promena statistički značajna. Kratak odgovor se prepoznaje za oko 150 ms u medijani (95. percentil oko 210 ms), a na zvuku iz pozivnih centara greška kalibracije ocene pouzdanosti pala je za 74%.
Telefonski poziv se sastoji od kratkih odgovora
Poslušajte servisni poziv sa strane pozivaoca. „Da.“ „Utorak.“ „Ne, onaj drugi broj.“ „Petrović.“ „Četiri četiri jedan sedam.“ Agent pita, a pozivalac odgovara sa jednom do tri reči.
Te reči nose poziv. Pogrešno čuto „da“ rezerviše pogrešan termin. Pogrešno čuto prezime pravi drugi zapis o klijentu. Pogrešno čuta cifra šalje podsetnik na pogrešan nalog.
Timovi obično prave, podešavaju i testiraju prepoznavanje govora na rečenicama. Na rečenici uobičajen prepoznavač pogreši oko dva znaka od sto. Na jednoj reči isečenoj iz istog govora, uobičajen prepoznavač može da pogreši jedan znak od dva. Kratki odgovori su najteži slučaj za prepoznavanje i najčešći na pozivu.
Zašto je kratko teško
Na kratkom odgovoru se skuplja šest uticaja. Svaki je mali na rečenici, a velik na jednoj reči.
Nedostatak konteksta
Prepoznavanje se oslanja na kontekst. Unutar rečenice prepoznavač predviđa svaku reč prema susedima, a susedi isključuju većinu pogrešnih kandidata. Reč sama nema suseda. Jedini dokaz je zvuk.
Budžet dokaza
Odgovor od jedne reči traje 300 do 600 ms. Pucketanje na liniji, dah ili artefakt kodeka zauzimaju mnogo veći deo tog odgovora nego petosekundne rečenice, a oko njega nema ničega što bi štetu ublažilo prosekom.
Osetljive ivice
Prvi i poslednji glasovi replike najlakše se gube: govornik počne tiho, detekcija glasa se otvori malo kasnije, poslednji suglasnik utihne. U rečenici su to dva glasa od pedeset. U reči „da“ su to dva od tri.
Uski opseg
Telefonska linija prenosi otprilike 300 do 3.400 Hz. Suglasnici po kojima se razlikuju mnoge reči (s, f, š, h) veći deo energije nose iznad te granice. U rečenici ih vraća kontekst. U jednoj reči ih ništa ne vraća.
Privlačnost tišine
Prepoznavač obučen na tečnom govoru želi da proizvede reči. Kad dobije dah, kašalj ili nekoliko stotina milisekundi šuma linije, sklon je da vrati kratku, verovatnu reč: „da“, „u redu“, „halo“. Kratke replike sadrže mnogo više takvog zvuka nego rečenice.
Nemilosrdna mera
Jedno pogrešno slovo u „da“ je trećina reči. Iste greške koje rečenici koštaju jedan poen greške, kratkom odgovoru koštaju trideset.
Sopstveni put
Oasis Speech 2 kratku repliku tretira kao poseban problem. Kada je replika kraća od nekoliko sekundi, ide posebnim putem za kratke odgovore, do kojeg rečenice nikad ne dolaze. Taj put radi četiri stvari koje prepoznavaču rečenica nisu potrebne.
Odmerava više čitanja pre odgovora
Put za kratke odgovore čuva više konkurentnih čitanja umesto da se obaveže na prvi transkript koji nađe. Među njima bira prema dokazima koji su važni za kratak odgovor: koliko se svako slaže sa zvukom, koliko je verovatno kao nešto što čovek kaže u odgovoru i da li njegova dužina odgovara dužini govora.
Zna koliko dugačak odgovor treba da bude
Na kratkom zvuku prepoznavač sklon je da izostavi reč ili da je izmisli. Provera dužine, podešena po jeziku, drži odgovor u granicama onoga što trajanje govora može da sadrži.
Tišinu drži tihom
Posebna kapija za ono što nije govor posmatra akustiku replike. Za kašalj, pucketanje ili glas u pozadini vraća prazan rezultat umesto izmišljenog „da“. Na pravim snimcima kratkih odgovora kapija nije smetala: ispraznila je najviše 0,2% pravih kratkih odgovora.
Kaže koliko je sigurna
Svaki rezultat nosi ocenu pouzdanosti, kalibrisanu tako da 0,8 znači da je otprilike četiri reči od pet u toj replici tačno, i za odgovor od jedne reči i za celu rečenicu. Na zvuku iz pozivnih centara greška kalibracije pala je za 74%. Agent koristi ocenu: ispod praga traži od pozivaoca da ponovi umesto da pogađa ime ili cifru.
Podešena za svaki jezik
Put podešavamo posebno za svaki od 48 jezika, na kratkim odgovorima koji se tretiraju kao zasebna kategorija, a ne kao nusproizvod rečenica. Postavke jezika idu uz servis samo ako je dobitak statistički siguran: uparen bootstrap interval promene leži u celosti ispod nule.
Put održava prepoznavanje brzim. Kratak odgovor se vraća za oko 150 ms u medijani i za oko 210 ms na 95. percentilu.
Kako smo merili
- 48 jezika, izmereno u telefonskom kvalitetu.
- Obe linije. Svaku repliku merimo dvaput: onakvu kakva je snimljena i nakon prolaska kroz G.711, kodek obične telefonske linije. Brojevi su prosek to dvoje.
- Kratke replike sečene kao odgovori. Iz svake rečenice uzimamo jednu dugu repliku i dve kratke od jedne do tri reči. Kratku repliku sečemo na prirodnoj pauzi gde je moguće, zadržavamo 80 ms tišine oko nje i dopunjavamo je tišinom iz samog snimka, nikad susednim rečima.
- Replike nalik odgovorima. Podskup kratkih replika s tišinom s obe strane i bez usamljene reči-popune: ono što je najbliže odgovoru pozivaoca.
- Verzija 1 prema verziji 2 na istom zvuku, isečenom i dopunjenom na isti način.
- Statistika. Medijane preko jezika s 95% intervalima koji ponovo uzorkuju i jezike i rečenice unutar svakog. Jezik se računa kao poboljšan samo ako njegova promena ostane značajna nakon Holmove korekcije preko svih 48.
Rezultati
Oasis Speech 2 smanjuje stopu grešaka na kratkim odgovorima u poređenju s verzijom 1. Medijana za 48 jezika.
| Kratki odgovori | Smanjenje stope grešaka | Jezika s poboljšanjem |
|---|---|---|
| Jedna reč | 49% | 48 / 48 |
| Dve reči | 42% | 48 / 48 |
| Tri reči | 41% | 48 / 48 |
| Sve kratke replike | 44% | 48 / 48 |
| Replike nalik odgovorima | 43% | 36 / 47, nijedan lošiji |
Osam jezika izbliza
| Jezik | Smanjenje stope grešaka |
|---|---|
| Srpski | 51% |
| Bosanski | 49% |
| Hrvatski | 44% |
| Italijanski | 40% |
| Nemački | 36% |
| Španski | 32% |
| Portugalski | 31% |
| Francuski | 27% |
Na pravim kratkim snimcima
Merili smo i na snimcima pravih ljudi koji izgovaraju kratke zahteve od jedne do tri reči, sopstvenim glasom. Oasis Speech 2 smanjuje stopu grešaka na njima, kroz telefonski kodek G.711:
| Jezik | Smanjenje stope grešaka |
|---|---|
| Španski | 27% |
| Nemački | 41% |
| Holandski | 30% |
| Turski | 33% |
| Portugalski | 31% |
| Poljski | 29% |
| Francuski | 40% |
| Mađarski | 52% |
| Arapski | 34% |
Verzija 2 je pobedila verziju 1 na svakom ovde navedenom jeziku, i na čistom zvuku i kroz telefonski kodek. Ovo su brojevi za kratke replike koji su najbliži tome kako zvuči pozivalac. Na čistom zvuku stopa grešaka na kratkim odgovorima na španskom je 2,9%, a na nemačkom 4,0% (manje je bolje).
Šta agent radi s tim
Agent gradi na onome što prepoznavanje vrati:
- Čita nazad ono što je važno. Agent čita pozivaocu imena, brojeve, iznose i datume pre nego što ih zabeleži.
- Pita ponovo umesto da pogađa. Kad je ocena pouzdanosti niska, agent traži od pozivaoca da ponovi i nikad ne popunjava cifru koju nije čuo.
- Namerno ga testiramo na lošem prepoznavanju. Polygon agentima daje izobličen tekst, izostavljene reči, cifre čitane jednu po jednu i reči koje zvuče slično, da proveri da li se agent snalazi kad prepoznavanje ne uspe. Kako ocenjujemo razgovor opisuje metod.
Stranica Jezici ocenjuje svaki od 48 jezika koje agent čuje i govori.