A legrövidebb válaszokat a legnehezebb felismerni, és ezek a leggyakoribbak egy hívásban

„Igen”, „csütörtök”, „nem, a másik”. Amit a hívó az ügynöknek mond, annak a nagy része pár szó, és a pár szó a legnehezebb dolog a beszédfelismerésnek. Ez a jegyzet elmagyarázza, miért, és leírja a rövid válaszokra épített utat az Oasis Speech 2-ben. A nyelvenkénti eredmények az Oasis Speech 2: felismerés 48 nyelven cikkben vannak.

Az Oasis Speech által felismert 48 nyelven mértünk, telefonos minőségben: minden megszólalást tisztán és a G.711 telefonkodeken átvezetve, valamint valódi emberek rövid, beszélt kéréseinek felvételein. Az Oasis Speech 1-es és 2-es verziója ugyanazon a hangon futott.

Az Oasis Speech 2 49%-kal csökkenti a hibaarányt az egyszavas válaszoknál (a 48 nyelv mediánja), és mind a 48 nyelv javult a rövid válaszoknál, mindegyik változás statisztikailag szignifikáns. Egy rövid választ nagyjából 150 ms alatt ismer fel a rendszer mediánban (a 95. percentilis nagyjából 210 ms), és híváscenter-felvételeken a megbízhatósági érték kalibrációs hibája 74%-kal csökkent.

A telefonhívás rövid válaszokból áll

Hallgasson meg egy ügyfélszolgálati hívást a hívó oldaláról. „Igen.” „Kedd.” „Nem, a másik szám.” „Petrović.” „Négy négy egy hét.” Az ügynök kérdez, a hívó egy-három szóval válaszol.

Ezek a szavak viszik a hívást. Egy félrehallott „igen” rossz időpontot foglal. Egy félrehallott családnév második ügyfélrekordot hoz létre. Egy félrehallott számjegy a hibás számlához küldi az emlékeztetőt.

A csapatok a beszédfelismerést általában mondatokon építik, hangolják és tesztelik. Egy mondaton egy hagyományos felismerő száz karakterből nagyjából kettőt téveszt el. Ugyanabból a beszédből kivágott egyetlen szón egy hagyományos felismerő két karakterből egyet is eltéveszthet. A rövid válasz a felismerés legnehezebb esete, és a leggyakoribb egy hívásban.

Miért nehéz a rövid

Hat hatás adódik össze egy rövid válaszon. Mindegyik kicsi egy mondaton, és nagy egy szón.

A kontextus hiánya

A felismerés a kontextusra támaszkodik. Egy mondaton belül a felismerő a szomszédaiból jósolja meg az egyes szavakat, és a szomszédok kizárják a téves jelöltek nagy részét. Az önmagában álló szónak nincsenek szomszédai. Az egyetlen bizonyíték a hang.

A bizonyíték szűk kerete

Az egyszavas válasz 300–600 ms hosszú. A vonalon egy kattanás, egy lélegzet vagy egy kodekhiba ennek sokkal nagyobb részét fedi, mint egy ötmásodperces mondatét, és nincs körülötte semmi, ami kiátlagolná a kárt.

Törékeny szélek

A megszólalás első és utolsó hangját a legkönnyebb elveszíteni: a beszélő halkan kezd, a hangaktivitás-érzékelés egy hajszállal később nyit, az utolsó mássalhangzó elhalkul. Egy mondatban ez ötven hangból kettő. Az „igen” szóban négyből kettő.

A keskeny sáv

A telefonvonal nagyjából 300–3400 Hz-et visz át. A mássalhangzók, amelyek sok szót megkülönböztetnek egymástól (az sz, s, f és cs), energiájuk nagy részét ezen a sávon felül hordozzák. Mondatban a kontextus visszaállítja őket. Egyetlen szóban semmi nem állítja vissza.

A csend vonzása

A folyékony beszédre tanított felismerő szavakat akar előállítani. Lélegzetet, köhintést vagy pár száz ezredmásodpercnyi vonalzajt kapva hajlamos rövid, hihető szót visszaadni: „igen”, „oké”, „halló”. A rövid megszólalások sokkal több ilyen hangot tartalmaznak, mint a mondatok.

A kíméletlen mérték

Az „igen” egyetlen elrontott betűje a szó negyede. Ugyanazok a hibák, amelyek egy mondatnak egy pontnyi hibát jelentenek, egy rövid válasznak harmincat.

Saját út

Az Oasis Speech 2 a rövid megszólalást önálló problémának kezeli. Ha egy megszólalás néhány másodpercnél rövidebb, a rövid válaszok saját útjára kerül, amelyet a mondatok sosem érnek el. Ez az út négy dolgot tesz, amire a mondatfelismerőnek nincs szüksége.

Több olvasatot mérlegel, mielőtt válaszol

A rövid válaszok útja több versengő olvasatot tart meg ahelyett, hogy az első talált átiratnál elköteleződne. A rövid válasznál számító bizonyítékok alapján választ közöttük: mennyire egyezik az egyes olvasat a hanggal, mennyire hihető mint valami, amit az ember válaszul mond, és illik-e a hossza a beszéd hosszához.

Tudja, milyen hosszú lehet egy válasz

Rövid hangon a felismerő hajlamos elhagyni egy szót vagy kitalálni egyet. Egy nyelvenként illesztett hosszellenőrzés arra korlátozza a választ, amit a beszéd időtartama elbír.

A csendet csendben tartja

Egy külön beszédmentességi kapu a megszólalás akusztikáját vizsgálja. Köhögésre, kattanásra vagy háttérhangra üres eredményt ad egy kitalált „igen” helyett. Valódi rövid válaszok felvételein a kapu nem zavart: a valódi rövid válaszoknak legfeljebb 0,2%-át hagyta üresen.

Megmondja, mennyire biztos

Minden eredmény megbízhatósági értéket hordoz, úgy kalibrálva, hogy a 0,8 azt jelenti: a megszólalás szavainak nagyjából négy az ötből helyes, egyszavas válasznál és mondatnál egyaránt. Híváscenter-felvételeken a kalibrációs hiba 74%-kal csökkent. Az ügynök használja az értéket: egy küszöb alatt megkéri a hívót, hogy ismételje meg, ahelyett, hogy egy nevet vagy számjegyet kitalálna.

Nyelvenként hangolva

Az utat a 48 nyelv mindegyikére külön illesztettük, a rövid válaszokat önálló kategóriaként kezelve, nem a mondatok melléktermékeként. Egy nyelv beállításai csak akkor kerülnek élesbe, ha a javulás statisztikailag biztos: a változás páros bootstrap-intervalluma teljes egészében nulla alatt van.

Az út gyors marad. Egy rövid válasz nagyjából 150 ms alatt jön vissza mediánban, és nagyjából 210 ms alatt a 95. percentilisben.

Hogyan mértünk

• 48 nyelv, telefonos minőségben mérve.
• Mindkét vonal. Minden megszólalást kétszer mérünk: ahogy felvették, és a G.711-en, egy hétköznapi telefonvonal kodekén átvezetve. Az értékek a kettő átlagai.
• Válaszként vágott rövid megszólalások. Minden mondatból egy hosszú és két egy-három szavas rövid megszólalást veszünk. A rövid megszólalást lehetőleg természetes szünetnél vágjuk, megtartunk körülötte 80 ms csendet, és a felvétel saját csendjével egészítjük ki, soha nem a szomszédos szavakkal.
• Válaszszerű megszólalások. A rövid megszólalások egy részhalmaza, mindkét oldalon csenddel és önálló töltelékszó nélkül: ez áll legközelebb a hívó válaszához.
• 1-es verzió a 2-essel szemben ugyanazon a hangon, ugyanúgy vágva és kiegészítve.
• Statisztika. Nyelvek mediánjai 95%-os intervallumokkal, amelyek a nyelveket és az egyes nyelvek mondatait is újramintavételezik. Egy nyelv csak akkor számít javulónak, ha a változása a Holm-korrekció után is szignifikáns mind a 48 nyelvre vetítve.

Eredmények

Az Oasis Speech 2 csökkenti a hibaarányt a rövid válaszoknál az 1-es verzióhoz képest. A 48 nyelv mediánja.

Nyolc nyelv közelről

Valódi rövid felvételeken

Valódi emberek rövid, egy-három szavas beszélt kéréseinek felvételein is mértünk, a saját hangjukon. Az Oasis Speech 2 csökkenti rajtuk a hibaarányt, a G.711 telefonkodeken átvezetve:

A 2-es verzió minden itt szereplő nyelven jobb volt az 1-esnél, tiszta hangon és a telefonkodeken átvezetve egyaránt. Ezek a rövid megszólalásokra vonatkozó értékek állnak a legközelebb ahhoz, ahogy egy hívó hangzik. Tiszta hangon a hibaarány a spanyol rövid válaszoknál 2,9%, a németnél 4,0% (az alacsonyabb a jobb).

Mit kezd ezzel az ügynök

Az ügynök arra épít, amit a felismerés visszaad:

• Felolvassa, ami fontos. Az ügynök a neveket, számokat, összegeket és dátumokat felolvassa a hívónak, mielőtt rögzíti őket.
• Újra kérdez, nem találgat. Ha alacsony a megbízhatósági érték, az ügynök megkéri a hívót, hogy ismételje meg, és soha nem tölt ki számjegyet, amelyet nem hallott.
• Szándékosan rossz felismeréssel is teszteljük. A Polygon torzított szöveget, kihagyott szavakat, számjegyenként olvasott számokat és hasonlóan hangzó szavakat ad az ügynököknek, hogy ellenőrizze: az ügynök boldogul, ha a felismerés nem. A módszert a Hogyan osztályozunk egy beszélgetést írja le.

A Nyelvek oldal osztályozza a 48 nyelv mindegyikét, amelyet az ügynök hall és beszél.

CímkékResearchBeszédfelismerés