Az Oasis Speech a saját fejlesztésű beszédfelismerésünk. A 2-es verzió a modell architekturális változtatása, a felismerés pontosságáért és minőségéért telefonhívásokon. Az 1-es verzióval hasonlítottuk össze ugyanazokon a felvételeken, mind a 48 nyelven, amelyet felismer, teljes mondatokon és egy-három szavas rövid válaszokon.
Minden nyelvet telefonos minőségben mértünk: minden megszólalást úgy pontoztunk, ahogy felvették, és a G.711 telefonkodeken átvezetve. A rövid válaszokat természetes szüneteknél vágtuk. A részletek az utolsó szakaszban vannak.
A rövid válaszoknál az Oasis Speech 2 44%-kal csökkenti a hibaarányt (a 48 nyelv mediánja), és mind a 48 nyelv javult. Egy rövid válasz mediánban nagyjából 150 ms alatt, a 95. percentilisben nagyjából 210 ms alatt jön vissza.
Miért a rövid válaszok
A telefonhívás nagyrészt rövid válaszokból áll: „Igen.” „Kedd.” „Nem, a másik szám.” Egy betűnként kimondott családnév. A felismerőket általában mondatokon építik és tesztelik, az egyszavas megszólalás pedig az az eset, amelyet a legrosszabbul kezelnek. Egyetlen szó nem ad a felismerőnek kontextust, amelyre támaszkodhatna, és egy téves karakter a szó nagy részét teszi ki.
A hibáért az ügynök fizet. Egy téves „igen” vagy egy félrehallott családnév téves foglalás vagy összezavarodott ügyfél lesz belőle. Ezért kétszer mérünk: teljes mondatokon, ahol a legtöbb felismerő jól teljesít, és egy-három szavas válaszokon, ahol a különbség látszik. A rövid válaszok problémáját részletesen elmagyarázza A legrövidebb válaszokat a legnehezebb felismerni.
Mi a 2-es verzió
Az 1-es verzió minden megszólalást egy menetben ismert fel.
A 2-es verzió a modell architekturális változtatása, egyetlen cél köré építve: a felismerés pontossága és minősége telefonhívásokon. Arra terveztük, ahogyan egy hívás hangzik: rövid válaszok, keskenysávú hang, háttérzaj, szó közepén megszólaló hívó.
Amit a hívó és az ügynök észrevesz:
- Kevesebb hiba a rövid válaszoknál, mind a 48 nyelven.
- A csend üres marad. Az Oasis Speech köhögésre, vonalkattanásra vagy háttérben szóló hangra üres eredményt ad, és nem talál ki hozzá szót.
- Értelmes megbízhatósági érték. A 0,8-as érték azt jelenti, hogy az adott megszólalás szavainak nagyjából négy az ötből helyes, egyszavas válasznál és mondatnál egyaránt. Az ügynök ezt használja, hogy újra kérdezzen ahelyett, hogy találgatna.
- Nyelvenkénti hangolás. Minden nyelvet a saját adatán hangolunk, és az eredmények a szolgáltatással együtt kerülnek élesbe.
- Valós idejű sebesség. Egy rövid megszólalás mediánban nagyjából 150 ms alatt, a 95. percentilisben nagyjából 210 ms alatt jön vissza.
Eredmények 48 nyelven
Az Oasis Speech 2 csökkenti a hibaarányt a rövid válaszoknál az 1-es verzióhoz képest. A 48 nyelv mediánjai; a rövid válaszok egy-három szavasak. Minden megszólalást tisztán és a telefonkodek G.711-en átvezetve is pontoztunk, és a táblázatok a kettő átlagát mutatják.
| Válasz hossza | Hibaarány-csökkenés |
|---|---|
| Egy szó | 49% |
| Két szó | 42% |
| Három szó | 41% |
| Minden rövid válasz | 44% |
Mind a 48 nyelv javul a rövid válaszoknál, és a változás mind a 48-nál szignifikáns a többszörös összehasonlítás korrekciója után. Minél rövidebb a válasz, annál nagyobb a nyereség.
A teljes mondatoknál, ahol a felismerők már eleve erősek, a hibaarány mediánja 2,17% (az alacsonyabb a jobb):
| Mérték | 1-es verzió | 2-es verzió | Hibaarány-csökkenés |
|---|---|---|---|
| Hibaarány, mondatok | 2,29% | 2,17% | 5% |
A mondatok már eddig is erősek voltak, így a nyereség nagy része ott jelentkezik, ahol a hívóknak szükségük van rá: a válasz első szavaiban.
Nyolc nyelv közelről
Rövid válaszok és mondatok, az 1-es verzióhoz képest.
| Nyelv | Rövid válaszok, csökkenés | Mondatok, v1 → v2 |
|---|---|---|
| szerb | 51% | 1,45% → 1,41% |
| horvát | 44% | 2,97% → 2,75% |
| bosnyák | 49% | 1,91% → 1,65% |
| német | 36% | 1,53% → 1,26% |
| francia | 27% | 3,45% → 2,55% |
| spanyol | 32% | 1,12% → 1,10% |
| olasz | 40% | 0,90% → 0,83% |
| portugál | 31% | 1,59% → 1,43% |
Közép-Európa, az északi országok és Benelux
Tizenegy további nyelv ugyanezekből a mérésekből.
| Nyelv | Rövid válaszok, csökkenés | Mondatok, v1 → v2 |
|---|---|---|
| lengyel | 42% | 2,20% → 1,89% |
| cseh | 41% | 2,12% → 1,96% |
| szlovák | 40% | 1,53% → 1,39% |
| magyar | 44% | 2,72% → 2,53% |
| román | 36% | 2,44% → 2,21% |
| bolgár | 52% | 2,41% → 2,37% |
| svéd | 39% | 3,11% → 2,83% |
| norvég (bokmål) | 39% | 2,03% → 1,99% |
| dán | 32% | 3,64% → 3,58% |
| finn | 47% | 1,34% → 1,36% |
| holland | 30% | 2,15% → 1,78% |
A legnagyobb javulások
| Nyelv | Hibaarány-csökkenés |
|---|---|
| tadzsik | 71% |
| filippínó | 66% |
| észt | 63% |
| arab | 59% |
| macedón | 57% |
Mind a 48 nyelv
| Nyelv | Hibaarány-csökkenés |
|---|---|
| arab | 59% |
| örmény | 43% |
| azerbajdzsáni | 43% |
| fehérorosz | 39% |
| bosnyák | 49% |
| bolgár | 52% |
| katalán | 30% |
| horvát | 44% |
| cseh | 41% |
| dán | 32% |
| holland | 30% |
| angol | 38% |
| észt | 63% |
| filippínó | 66% |
| finn | 47% |
| francia | 27% |
| galíciai | 22% |
| grúz | 42% |
| német | 36% |
| görög | 41% |
| héber | 42% |
| magyar | 44% |
| izlandi | 39% |
| indonéz | 42% |
| ír | 22% |
| olasz | 40% |
| kazah | 44% |
| kirgiz | 47% |
| lett | 38% |
| litván | 45% |
| luxemburgi | 41% |
| macedón | 57% |
| máltai | 36% |
| norvég (bokmål) | 39% |
| lengyel | 42% |
| portugál | 31% |
| román | 36% |
| orosz | 34% |
| szerb | 51% |
| szlovák | 40% |
| szlovén | 54% |
| spanyol | 32% |
| svéd | 39% |
| tadzsik | 71% |
| török | 40% |
| ukrán | 44% |
| üzbég | 42% |
| walesi | 41% |
Valódi hívások
Híváscenter-felvételeken a megbízhatósági érték kalibrációs hibája 0,193-ról 0,051-re csökkent, ami 74%-os csökkenés.
Hogyan készültek a számok
- Felvételek. Minden nyelv felvételei, tisztán és a G.711 telefonkodeken átvezetve pontozva. A táblázatok a kettő átlagát mutatják.
- Megszólalások. Minden mondatot egészben használunk, és természetes szüneteknél egy-három szavas rövid válaszokra is vágjuk: mindkét oldalon legalább 150 ms csend, amelyből 80 ms-ot megtartunk. Az így vágott rövid válasz válaszként hangzik, nem megcsonkított töredékként.
- Statisztika. A változások 95%-os, mondatok szerint párosított intervallumot kapnak. Annak állítása, hogy mind a 48 nyelv javul, Holm-korrekciót használ a nyelvek között.
A Nyelvek oldal ezekből a mérésekből osztályoz minden nyelvet, az A++-tól a B+-ig. A 48-ból 37 A++ osztályzatú.