Technológiák
Mi van egy Dialogist AI hangügynök belsejében
Mért késleltetés, megszólalások váltása, tudás és tesztelés.
Negyed másodperc
A hívó utolsó szavától az ügynök első hangjáig az ügynöknek magának nagyjából negyed másodpercre van szüksége.
≈ 0,27 s
232 ms, amíg eldönti, hogy a hívó befejezte, aztán 35 ms az első hangig
Mit mérünk
Az óra a hívó beszédének végétől az ügynök válaszának első hangjáig fut.
Annak eldöntése, hogy a hívó befejezte
A csendet mérő időzítő vagy lassú, vagy belevág az emberek szavába. Az ügynök 192 ms-ot vár, aztán egy kis modellt kérdez meg, hogy a mondat teljes-e. A modell nagyjából 40 ms alatt válaszol, így a megszólalás nagyjából 232 ms-nál zárul. A csak csendet mérő időzítő 512 ms-ot igényel.
A válasz indítása
A felismerés attól fut, hogy a hívó beszélni kezdett, így a szöveg kész, mire a megszólalás lezárul. Korai indítással a nyelvi modell már akkor megkapja a szöveget, amikor az ügynök még a szünetben van, és az első mondata általában addigra megszületik, mire a megszólalás lezárul. A szintézis ezután a hanggyorsítótárból vagy ebből az első mondatból indul.
| Lépés | Normál | Korai indítás |
|---|---|---|
| Átírás (a végleges szöveg a szünet után) | 0,5 ms | 0,5 ms |
| Az első mondat a nyelvi modelltől | 111 ms | 3 ms |
| Hang az első hangig | 6 ms | 31 ms |
| A döntéstől az első hangig | 117 ms | 35 ms |
Az átírás a döntés után 0,5 ms-ot vesz igénybe, mert a felismerés a hívó beszéde közben folyamatosan fut, és a szünetben próbamenetet végez. Korai indítással a nyelvi modell a szünetben, ezen a próbaszövegen kezd el dolgozni, így a döntés után a munkájából 3 ms marad hátra; normál módban mind a 111 ms a döntés után következik. A terhelésteszten a korai kérés a válaszok 98%-ában a döntés előtt elment, átlagosan 225 ms-mal előbb 50 beszélgetésnél, és 508 ms-mal előbb 128-nál. Ha a hívó tovább beszél, az ügynök eldobja az előkészített választ, és a teljes mondatra válaszol.
Egy Server Unit 100 egyidejű hívásánál ugyanez a lépés normál módban nagyjából 0,4 s, korai indítással 0,25 s. A teljes képet a Server Unit jegyzete tartalmazza. A Server Unit terhelés alatt
- 232 msannak eldöntésére, hogy a hívó befejezte (192 ms szünet és 40 ms modell); a csendet mérő időzítőnek 512 ms kell
- 35 msettől a döntéstől az első hangig korai indítással; nélküle 117 ms
- ≈ 0,3 shívó megszólalásonként megtakarít a valódi hívásokon a megszólalás-záró modell, amely a megszólalások 87%-át zárta le korán
A valódi hívások 1468 hívói megszólalásából a megszólalás-záró modell a megszólalások 87%-át zárta le korán, ezek 95%-át már az első vizsgálatnál.
Hová tűntek a milliszekundumok
Minden változtatást külön mértünk, mielőtt bekerült. Együtt nagyjából megduplázták azoknak a hívásoknak a számát, amelyeket egy Server Unit Standard fokozaton elbír.
- 89–235 ms megtakarítás
Korai indítás
A nyelvi modell a felismert szövegen kezd el dolgozni, amíg az ügynök még kivárja a szünetet. A megtakarítás a terheléssel nő: 89 ms egy hívásnál, 189 ms 96 beszélgetésnél, 235 ms 128-nál.
- 280 → 40 ms
A beszédből kikerül a holtidő
A szintetizált mondatok csenddel kezdődnek; a gyorsítótárunkban a medián 280 ms. Az ügynök lejátszás közben 40 ms-ra vágja, és a vonalon egyetlen hívás válasza nagyjából 200 ms-mal hamarabb érkezett. A gyorsítótár az eredetit őrzi meg.
- ≈ 0,3 s megtakarítás
Megszólalás-záró modell
192 ms szünet után egy kis modell a hanglejtés alapján megítéli, hogy a gondolat befejeződött-e. A valódi hívásokon a hívói megszólalások 87%-át zárta le korán, és a gondolat közbeni szünetek 96%-át kivárta. Először megfigyelő módban futhat, és csak naplózza, mit tett volna.
- 94%
Hanggyorsítótár
Az ügynök a korábban már kimondott mondatokat lemezről játssza le. A gyorsítótár túléli az újraindítást, a munkaidőn kívül pedig az ügynök felismeréssel újra ellenőrzi a tárolt hangfelvételeket, és újragenerálja azokat, amelyek megbuknak.
Az első mondat előresorolódik
Terhelés alatt az egyik hívás válaszának eleje sosem vár egy másik válasz végére. Az ügynök a következő mondatokat szintetizálja, miközben az első szól.
Egy óra az összes hívásnak
Az összes hívás médiája egyetlen közös, 20 ms-os ütemen fut, hívásonkénti időzítő helyett.
Voicecore: médiabackend Rustban (EN)- 69 → 0,7 µs
Olcsóbb hangkeretek
Egy keret átadása a telefóniai szoftverréteg és az ügynök között egy mikroszekundumnál kevesebbet vesz igénybe a korábbi több tízes érték helyett.
Voicecore: médiabackend Rustban (EN)
Előtte és utána: ugyanaz a környezet, egy 20 perces egyhívásos futtatás és 50 beszélgetés, toborzó ügynök. Gyorsítótár: 64 192 mondat a terhelésteszten. Keretátadás: a telefóniai könyvtáron elkülönítve mérve.
Beszéd közben is hallgat
A hívó csatornája nyitva marad. A hangaktivitás-felismerés és a beszédfelismerés ezen fut, miközben az ügynök beszél, és az ügynök arra reagál, amit hall.
Közbeszólások, amelyek számítanak
A hívó közbeszólhat az ügynöknek, és az ügynök abbahagyja. A közbeszólást szövegből vagy hangból ismeri fel. A hang alapú mód saját küszöbbel rendelkezik, és megszakítatlan beszédet igényel, így a billentyűzet, egy becsapott ajtó vagy egy köhintés nem szakítja félbe az ügynököt. Az ügynök figyelmen kívül hagy egy rövid, alacsony megbízhatóságú részletet a saját hangja felett, mert így néz ki a visszhang.
A hang visszahúzódik
Amikor a hívó beszélni kezd, az ügynök hangja elhalkul és tompul: kisebb hangerő, kevesebb magas frekvencia. Ha a hívó mond valamit, ami számít, az ügynök megáll. Egy „aha” vagy egy köhintés után visszatér, a legközelebbi szótaghatártól, a mondat elejétől vagy pontosan onnan, ahol abbahagyta. Ügynökönként állítható.
„Aha” a szünetekben
A hívó hosszú megszólalásában az ügynök a saját hangján rövid visszajelzéseket szúr be. Ezek előre elkészített hangfelvételek, amelyeket egy ember meghallgatott és jóváhagyott. A szünetekben szólnak, valószínűséggel, minimális távolsággal, megszólalásonkénti korláttal és ismétlés nélkül, és soha nem akkor, amikor a megszólalás-záró modell szerint a hívó befejezte.
Megmondja, ha nem biztos
A felismerés megbízhatósága bekerül az ügynök promptjába. Az ügynök a bizonytalan átírást annak jelölve látja, és kéri a hívót, hogy ismételje meg, ahelyett hogy egy nevet vagy számot találgatna.
Udvariasan kezelt csend
Egy újabb felszólítás, majd egy elköszönés, a lejátszás valódi végétől mérve, nem a szintézis végétől.
Tér a hang körül
Választható iroda- vagy tárgyalóterem-háttér, a hívás első másodpercétől a hang alá keverve.
- Az ügynök a köszöntést a kicsengési késleltetés alatt generálja, és mondatonként továbbítja.
- Szélessávú G.722, ahol a másik oldal támogatja. A simított erősítésszabályozás 11 címkézett valódi hívásnál a jel-zaj viszonyt 23-ról 28,7 dB-re emelte.
- Az ügynök saját „aha”-ja visszhangozhat a vonalon a hívó készülékéről. A felismerés kiveszi az átiratból, az ügynök pedig a visszajelzéseket kihagyja a beszélgetés előzményeiből.
Streamelt hangok, az Ön neveivel
Klónozzon egy hangot vagy válasszon a katalógusból, és tanítsa meg, hogyan mondja ki az Ön neveit.
Hangklónozás
Új hang egy 10–30 másodperces mintából és annak átiratából.
Kiejtési szótárak
Márkanevek, utcák és szakzsargon úgy kimondva, ahogy Ön mondja, előnézettel.
Ügynökönként egy hang
A katalógusból vagy klónozva, az Ön által megadott sebességgel.
Streamelt szintézis
Mondatonként: a következő mondat elkészül, mielőtt az első véget érne.
Atlas
A dokumentumai, a késleltetési kereten belül átkeresve.
RAGKnowledge Hub
Az Atlas a tudásközpontunk. Egy ügynököt egy vagy több tudásbázishoz kapcsol, és az Atlas visszaadja a kérdésre válaszoló részleteket.
Keresés minden válasz előtt
A gyors keresés a szerveren nagyjából 150 ms. Ha 400 ms-on belül nem tér vissza, az ügynök nélküle válaszol.
Mélyebb keresés igény szerint
A nehéz kérdéseknél a modell maga kér teljesebb keresést. Ez 0,7–1,2 s, és az ügynök a várakozás alatt kitöltő mondatot mond, hogy ne legyen csend a vonalon.
Hibrid keresés
Jelentés alapú és kulcsszavas keresés egyesítve, a mélyebb módban újrarendezővel.
Bármilyen formátum
PDF, Office-fájlok, táblázatok, weboldalak és OCR-rel beolvasott dokumentumok. Az Atlas ütemezetten újra átvizsgálja a forrásokat.
Látható, hogy miért
A Prompt Studióban minden válasznál látszik, hogy az ügynök mely tudásbázisokban keresett, és mi jött vissza.
- ≈ 150 msgyors keresés, szerveroldalon
- 0,7–1,2 smélyebb keresés
- 400 mskeret, amelynek leteltével az ügynök nélküle megy tovább
Az Atlas tesztterülete: 144–156 ms szerveroldalon a gyors módban; 636–1090 ms a mélyebb módban, 0,73–1,20 s falióra szerint.
Polygon
Tesztpad hangügynököknek. Szimulálja a hívókat, értékeli minden beszélgetést, és megmutatja, hol kezd eltérni egy ügynök két verziója. A Pro csomagban ez a Párbeszéd-szimuláció.
- Forgatókönyv
- Szimulált hívó
- Beszélgetés
- Determinisztikus ellenőrzések
- Értékelő
- Viselkedési próbák
- Összehasonlítás
Egy pontszám, nyolc szempont
Az értékelő végigolvassa a teljes beszélgetést, a hívó tényeit és az eszközhívások nyomát, és minden szempontot az átiratból idézett bizonyítékkal pontoz.
- A cél teljesülése25
- Az utasítások betartása15
- Az eszközhasználat minősége15
- Tényszerűség10
- A párbeszéd minősége10
- Robusztusság10
- Biztonsági megfelelés10
- Személyiség és hangnem5
0-tól 100-ig: megfelelt 75-től, figyelmeztetés 50-től
Megbukik, bármi is a pontszám
- Tiltott kifejezés az ügynök beszédében
- Biztonsági szabálysértés
- Érvénytelen eszközhívás, amely eljutott a hívóig
Ahol a két verzió útja elválik
HívóÁt szeretném tenni az időpontomat.
A verzió: Természetesen. Mi a foglalási száma?
B verzió: Természetesen. Mi a foglalási száma?
HívóNégy négy egy hét.
A verzió: Köszönöm. Csütörtökön tízkor vagy pénteken kettőkor?
B verzió: Köszönöm. Csütörtökön tízkor vagy pénteken kettőkor?
Eltérési pont · 3. megszólalás
HívóPénteken.
A verzió: Kész: péntek, két óra. SMS-t fog kapni.
B verzió: Elnézést, megismételné a számot?
Szemléltetés: ugyanaz a szimulált hívó az ügynök két verziójával. A Polygon megszólalásról megszólalásra egymás mellé igazítja a beszélgetéseket, és megjelöli az első eltérő megszólalást.
Hívók, akik ellenkeznek
- Szimulált hívók ismert alapigazsággal
- Hatféle hívótípus (együttműködő, sietős, bizalmatlan, zavarodott, agresszív, bőbeszédű), négy kívánt kimenetel és öt nehézségi szint. Minden hívó saját tényeket hordoz, így az értékelő tudja, hogy az ügynök elérte-e a célt, és kitalált-e bármit.
- Az ügynökből generálva
- A Polygon az ügynök saját promptjából írja meg a hívókat, és újragenerálja őket, ha a prompt változik.
- Szándékosan kemény vonal
- Felismerési zaj (kiesett szavak, számjegyenként felolvasott számok, hasonlóan hangzó szavak), lassú vagy hibázó eszközök, közbevágó és elkalandozó hívók. Rögzített véletlenmaggal, így egy hibás beszélgetés megszólalásról megszólalásra lejátszható.
Pontszám, amely jelent valamit
- Nyolc szempont, telefonos ügynökre súlyozva
- A cél elérése ötször annyit számít, mint a hangnem. 0-tól 100-ig pontozva, megfelelt, figyelmeztetés vagy megbukott eredménnyel.
- Kemény kapuk
- Egy tiltott kifejezés, egy biztonsági szabálysértés vagy egy érvénytelen, a hívóig eljutott eszközhívás a pontszámtól függetlenül megbuktatja a beszélgetést.
- Értékelő, amely nem találgat
- Az értékelő minden pontszámhoz bizonyítékot idéz az átiratból, az ismétléseket mediánnal vonja össze, a nem pontozott szempont pedig a minimumot kapja.
Viselkedés, egyszerre egy kérdés
- Próbák
- Igen/nem ellenőrzések, például „megkérdezte-e újra az ügynök egy furcsa válasz után?”, 95%-os konfidenciaintervallummal jelentve, hogy senki ne olvassa a „4-ből 3”-at 75%-nak.
- Determinisztikus metrikák
- Minden átiraton kiszámítva, hurokfelismeréssel, amely lezárja a körbe-körbe járó beszélgetést.
Két verzió egymás mellett
- Forgatókönyv-verzió mátrix
- Azzal kezdve, ahol a verziók a leginkább eltérnek.
- Az eltérési pont
- Az első megszólalás, ahol a két beszélgetés útja elválik, egymás mellé igazított átiratokkal.
- Paraméterpásztázás
- Modellek és beállítások felett, egyszerre egy tényezővel, rácson vagy véletlenszerűen, pontszám, majd stabilitás, majd sebesség szerint rangsorolva.
Az első hívás előtt és az utolsó után
- Promptelemzés
- Mielőtt bármelyik beszélgetés lefutna, a Polygon elolvassa a promptot, és kiemeli a túlterhelt utasításokat, az elásott szabályokat, az ellentmondásokat, a kétértelműséget és az ismétlést.
- Valódi hívások
- Importálhatja az éles átiratokat, és ugyanazzal az értékelési szemponttal és próbákkal pontozhatja őket, hogy lássa, jobb-e az új verzió a múlt havi hívásokon.
- Minden verzió megmarad
- A promptok, hívók, eszközmodellek, értékelési szempontok és próbák módosíthatatlan verziók, amelyeket összehasonlíthat.
- 8pontozott szempont
- 3kemény kapu
- 6hívótípus
- 5nehézségi szint
A Pro csomag részeként Párbeszéd-szimuláció névenHogyan értékeljük a beszélgetést
Saját infrastruktúránk
Saját és nyílt súlyú modellek az általunk az EU-ban üzemeltetett szervereken vagy az Ön szerverein. Hívói hang vagy szöveg nem kerül harmadik fél AI-szolgáltatójához.
- Nyelvi modell
- Nyílt súlyú nyelvi modell a saját GPU-inkon
- Beszédfelismerés
- Oasis Speech, a saját fejlesztésű felismerő szolgáltatásunk; 48 nyelvet hall → Oasis Speech 2
- Beszédszintézis
- Streamelt neurális hangok, készen kapott vagy az Ön mintájából klónozott
- Megszólalások váltása
- Hangaktivitás-felismerés és megszólalás-záró modell
- Tudás
- Atlas, a tudásközpontunk, beágyazásokkal és újrarendezővel
- Tesztelés
- Polygon, a beszélgetések tesztpadja → Hogyan értékeljük a beszélgetést
- Tanítás
- Cadence, a munkapad, amelyben az Oasis Speechet tanítjuk. A nyilvános tárhely az éles rendszerünk elágazása, MIT licenccel → Cadence
- Telefónia
- SIP G.722-vel és G.711-gyel, az Incoplax telefónián
Saját szerveren (on-premise) az egész rendszer Dockerrel települ az Ön szervereire, szükség esetén offline is. Egy Server Unit 100 egyidejű hívást visz, és ennek 176%-áig terheléstesztet futtattunk. A Server Unit terhelés alatt
Server Unitonként 100 hívás, 176%-ig tesztelve
Egy Server Unit a teljes hangrendszert viszi legfeljebb 100 egyidejű hívásig. Egyetlen hívástól a névleges kapacitás 176%-áig léptettük a terhelést, és figyeltük a válaszidőt, a megválaszolt megszólalások arányát és magukat a hívásokat. Aztán nagy terhelésre optimalizáltuk a rendszert, és megismételtük a tesztet: a Standard fokozat kapacitása nagyjából megduplázódott, és a legmagasabb lépcsőn minden hívás felépült, egy sem szakadt meg.
Egyetlen Server Uniton mérve.
Számokban
A terhelésteszt-környezetben mérve, toborzó ügynökkel, ha nincs másképp jelezve.
- ≈ 0,27 saz ügynök saját ideje a hívó utolsó szavától az első hangjáig
- 35 msannak a döntésnek az idejétől, hogy a hívó befejezte, az első hangig, korai indítással
- 96%a megszólalásoknál kész a felismert szöveg a döntés után 10 ms-on belül
- ≈ 100 msegy frissen szintetizált mondat első hangjáig (medián)
- ≈ 1 msegy mondat lejátszásához, amely már a hanggyorsítótárban van
- 5–8×valós időnél gyorsabban: ilyen gyorsan szintetizálódik a hang
- 94%az első mondatok a hanggyorsítótárból érkeznek
- 98%a válaszoknál a nyelvi modell a szünet vége előtt elindul
- > 99%a hívói megszólalás kapott választ a névleges kapacitás 176%-án
- ≈ 150 msegy gyors tudáskeresés a szerveren
A felismerés készenléte: 58 000 megszólalás 96–97%-a, az összes terhelési szinten. A hang sebessége: medián 5,0–6,5× a terhelési szinteken, csak gyorsítótár-találat nélküli esetek. Egy új mondat első hangja: medián 76–106 ms a terhelési szinteken.
Következő lépés
Hallgassa meg maga a negyed másodpercet: a kezdőoldalon élő hívás indítható az ügynökeink egyikével.
Csatlakozzon a várólistához
A csapatokat fokozatosan engedjük be. E-mailben értesítjük, amint megnyílik az Ön helye.