Najkraće odgovore je najteže prepoznati, a na pozivu su najčešći

„Da“, „četvrtak“, „ne, onaj drugi“. Većina onoga što pozivalac kaže agentu je nekoliko riječi, a nekoliko riječi je ono što prepoznavanje govora najteže pogađa. Ova bilješka objašnjava zašto i opisuje put za kratke odgovore koji smo ugradili u Oasis Speech 2. Rezultati po jezicima nalaze se u tekstu Oasis Speech 2: prepoznavanje na 48 jezika.

Mjerili smo na 48 jezika koje Oasis Speech prepoznaje, u telefonskom kvalitetu: svaki odgovor čist i kroz telefonski kodek G.711, plus snimci pravih ljudi koji izgovaraju kratke govorne zahtjeve. Verzija 1 i verzija 2 sistema Oasis Speech radile su na istom zvuku.

Oasis Speech 2 smanjuje stopu grešaka na odgovorima od jedne riječi za 49% (medijana na 48 jezika), a svih 48 jezika je napredovalo na kratkim odgovorima, svaka promjena statistički značajna. Kratak odgovor se prepoznaje za oko 150 ms u medijani (95. percentil oko 210 ms), a na zvuku iz kontakt centara greška kalibracije ocjene pouzdanosti pala je za 74%.

Telefonski poziv se sastoji od kratkih odgovora

Poslušajte uslužni poziv sa strane pozivaoca. „Da.“ „Utorak.“ „Ne, onaj drugi broj.“ „Petrović.“ „Četiri četiri jedan sedam.“ Agent pita, a pozivalac odgovara sa jednom do tri riječi.

Te riječi nose razgovor. Pogrešno čuto „da“ rezerviše pogrešan termin. Pogrešno čuto prezime pravi drugi zapis o klijentu. Pogrešno čuta cifra šalje podsjetnik na pogrešan nalog.

Timovi obično grade, podešavaju i testiraju prepoznavanje govora na rečenicama. Na rečenici uobičajen prepoznavač pogriješi u oko dva znaka od stotinu. Na jednoj riječi isječenoj iz istog govora uobičajen prepoznavač može pogriješiti u jednom znaku od dva. Kratki odgovori su najteži slučaj za prepoznavanje i najčešći na pozivu.

Zašto je kratko teško

Na kratkom odgovoru se skuplja šest efekata. Svaki je mali na rečenici, a velik na riječi.

Nedostatak konteksta

Prepoznavanje se oslanja na kontekst. Unutar rečenice prepoznavač predviđa svaku riječ prema susjednima, a susjedi isključuju većinu pogrešnih kandidata. Riječ sama nema susjede. Jedini dokaz je zvuk.

Budžet dokaza

Odgovor od jedne riječi traje 300 do 600 ms. Pucketanje na liniji, udah ili artefakt kodeka pokrivaju daleko veći njegov dio nego dio rečenice od pet sekundi, a oko njih nema ničega čime bi se šteta prosječno izravnala.

Osjetljivi rubovi

Prvi i posljednji zvuk replike najlakše se gube: govornik počinje tiho, detekcija glasa se otvori djelić sekunde kasnije, posljednji suglasnik utihne. U rečenici su to dva zvuka od pedeset. U riječi „da“ to su dva od tri.

Uski opseg

Telefonska linija prenosi otprilike 300 do 3.400 Hz. Suglasnici po kojima se mnoge riječi razlikuju (s, f, š, h) veći dio energije nose iznad toga. U rečenici ih vraća kontekst. U jednoj riječi ih ne vraća ništa.

Privlačnost tišine

Prepoznavač obučen na tečnom govoru želi da proizvede riječi. Kad dobije udah, kašalj ili nekoliko stotina milisekundi šuma na liniji, sklon je da vrati kratku, uvjerljivu riječ: „da“, „u redu“, „halo“. Kratke replike sadrže mnogo više takvog zvuka nego rečenice.

Nemilosrdna metrika

Jedno pogrešno slovo u riječi „da“ je trećina riječi. Iste greške koje rečenici donose jedan poen greške, kratkom odgovoru donose trideset.

Poseban put

Oasis Speech 2 kratku repliku tretira kao poseban problem. Kad je replika kraća od nekoliko sekundi, ide posebnim putem za kratke odgovore, kojem rečenice nikad ne pristupaju. Taj put radi četiri stvari koje prepoznavaču rečenica nisu potrebne.

Odmjerava više čitanja prije nego što odgovori

Put za kratke odgovore drži nekoliko konkurentnih čitanja umjesto da se veže za prvu transkripciju koju nađe. Među njima bira prema dokazima koji su važni za kratak odgovor: koliko se svako slaže sa zvukom, koliko je uvjerljivo kao nešto što osoba kaže u odgovoru i da li njegova dužina odgovara dužini govora.

Zna koliko dugačak odgovor treba da bude

Na kratkom zvuku prepoznavač obično izostavi riječ ili izmisli jednu. Provjera dužine, podešena po jeziku, drži odgovor u okviru onoga što trajanje govora može sadržati.

Tišinu drži tihom

Poseban filter za ne-govor posmatra akustiku replike. Za kašalj, pucketanje ili glas u pozadini vraća prazan rezultat umjesto izmišljenog „da“. Na stvarnim snimcima kratkih odgovora filter nije smetao: ispraznio je najviše 0,2% pravih kratkih odgovora.

Kaže koliko je siguran

Svaki rezultat nosi ocjenu pouzdanosti, kalibrisanu tako da 0,8 znači da je otprilike četiri riječi od pet u toj replici tačno, i za odgovor od jedne riječi i za rečenicu. Na zvuku iz kontakt centara greška kalibracije pala je za 74%. Agent koristi ocjenu: ispod praga traži od pozivaoca da ponovi umjesto da pogađa ime ili cifru.

Podešen za svaki jezik

Put smo posebno podesili za svaki od 48 jezika, na kratkim odgovorima tretiranim kao zasebna kategorija, a ne kao usputni proizvod rečenica. Postavke jezika idu uz servis samo ako je dobit statistički sigurna: upareni bootstrap interval promjene koji leži potpuno ispod nule.

Put održava prepoznavanje brzim. Kratak odgovor stiže za oko 150 ms u medijani i oko 210 ms u 95. percentilu.

Kako smo mjerili

• 48 jezika, mjereno u telefonskom kvalitetu.
• Obje linije. Svaki odgovor mjerimo dvaput: onakav kakav je snimljen i nakon prolaska kroz G.711, kodek obične telefonske linije. Brojevi su prosjek ta dva.
• Kratke replike isječene kao odgovori. Iz svake rečenice uzimamo jednu dugu repliku i dvije kratke od jedne do tri riječi. Kratku repliku sječemo na prirodnoj pauzi gdje je moguće, zadržavamo 80 ms tišine oko nje i dopunjavamo je tišinom iz same snimke, nikad susjednim riječima.
• Replike nalik odgovorima. Podskup kratkih replika sa tišinom sa obje strane i bez usamljene riječi-popune: ono što je najbliže pozivaočevom odgovoru.
• Verzija 1 naspram verzije 2 na istom zvuku, isječenom i dopunjenom na isti način.
• Statistika. Medijane preko jezika sa 95% intervalima koji uzorkuju i jezike i rečenice u svakom od njih. Jezik se računa kao poboljšan samo ako njegova promjena ostane značajna nakon Holmove korekcije preko svih 48.

Rezultati

Oasis Speech 2 smanjuje stopu grešaka na kratkim odgovorima u odnosu na verziju 1. Medijana na 48 jezika.

Osam jezika izbliza

Na pravim kratkim snimcima

Mjerili smo i na snimcima pravih ljudi koji izgovaraju kratke govorne zahtjeve od jedne do tri riječi, svojim glasovima. Oasis Speech 2 na njima smanjuje stopu grešaka, kroz telefonski kodek G.711:

Verzija 2 je pobijedila verziju 1 na svakom jeziku ovdje, i na čistom zvuku i kroz telefonski kodek. Ovo su podaci za kratke replike najbliži tome kako zvuči pozivalac. Na čistom zvuku stopa grešaka na španskim kratkim odgovorima iznosi 2,9%, a na njemačkim 4,0% (niže je bolje).

Šta agent radi s tim

Agent se oslanja na ono što prepoznavanje vrati:

• Čita nazad ono što je važno. Agent imena, brojeve, iznose i datume čita pozivaocu nazad prije nego što ih zapiše.
• Ponovo pita umjesto da pogađa. Kad je ocjena pouzdanosti niska, agent traži od pozivaoca da ponovi i nikad ne upisuje cifru koju nije čuo.
• Namjerno ga testiramo na lošem prepoznavanju. Polygon agentima daje izobličen tekst, ispuštene riječi, cifre čitane jednu po jednu i riječi koje zvuče slično, da provjeri snalazi li se agent kad se prepoznavanje ne snađe. Kako ocjenjujemo razgovor opisuje metod.

Stranica Jezici ocjenjuje svaki od 48 jezika koje agent čuje i govori.

OznakeResearchPrepoznavanje govora