Što je unutar Dialogist AI glasovnog agenta

Transkripcija traje 0,5 ms nakon odluke jer se prepoznavanje odvija u tokovima dok pozivatelj govori i tijekom stanke napravi probni prolaz. S ranim startom jezični model počinje na tom probnom tekstu unutar stanke, pa nakon odluke ostaju 3 ms njegova posla; u standardnom načinu svih 111 ms dolazi nakon nje. U testu opterećenja rani je zahtjev otišao prije odluke u 98% odgovora, u prosjeku 225 ms ranije pri 50 razgovora i 508 ms ranije pri 128. Ako pozivatelj nastavi govoriti, agent odbacuje pripremljeni odgovor i odgovara na cijelu frazu.

Pri 100 istodobnih poziva na Server Unitu isti korak traje oko 0,4 s u standardnom načinu i 0,25 s s ranim startom. Cjelovitu sliku daje bilješka o Server Unitu. Server Unit pod opterećenjem

• ušteda 89–235 ms

  Rani start

  Jezični model počinje na prepoznatom tekstu dok agent još čeka kraj stanke. Ušteda raste s opterećenjem: 89 ms s jednim pozivom, 189 ms pri 96 razgovora, 235 ms pri 128.

• 280 → 40 ms

  Mrtva tišina uklonjena iz govora

  Sintetizirane rečenice počinju tišinom; medijan u našoj predmemoriji je 280 ms. Agent je skraćuje na 40 ms dok reproducira isječak, a na liniji je odgovor jednog poziva stizao oko 200 ms ranije. Predmemorija čuva original.

• ušteda ≈ 0,3 s

  Model za kraj replike

  Nakon stanke od 192 ms mali model prema intonaciji procjenjuje je li misao završena. Na stvarnim pozivima rano je zatvorio 87% replika pozivatelja, a 96% stanki usred misli pričekao je do kraja. Najprije može raditi u promatračkom načinu i samo bilježiti što bi učinio.

• 94%

  Glasovna predmemorija

  Agent s diska reproducira fraze koje je već izgovorio. Predmemorija preživljava ponovna pokretanja, a izvan radnog vremena agent ponovno provjerava spremljene isječke prepoznavanjem govora i regenerira one koji ne prođu.

• Prva rečenica preskače red

  Pod opterećenjem početak odgovora jednog poziva nikad ne čeka iza kraja odgovora drugog. Agent sintetizira sljedeće rečenice dok se prva reproducira.

• Jedan sat za sve pozive

  Medij svih poziva radi na jednom zajedničkom otkucaju od 20 ms, umjesto tajmera po pozivu.

  Voicecore: medijski backend u Rustu (EN)
• 69 → 0,7 µs

  Jeftiniji audio okviri

  Predaja okvira između telefonskog stoga i agenta traje manje od mikrosekunde umjesto desetaka.

  Voicecore: medijski backend u Rustu (EN)

Prije i poslije: isto postolje, jedan poziv od 20 minuta i 50 razgovora, agent za zapošljavanje. Predmemorija: 64.192 fraze u testu opterećenja. Predaja okvira: izmjereno zasebno na telefonskoj biblioteci.

• Prekidi koji nešto znače

  Pozivatelj može govoriti preko agenta i agent staje. Prekid prepoznaje po tekstu ili po zvuku. Akustični način ima vlastiti prag i traži neprekinut govor, pa agenta ne prekidaju tipkovnica, zalupljena vrata ili kašalj. Agent ignorira kratak fragment niske pouzdanosti preko vlastitog glasa, a tako izgleda jeka.

• Glas se povlači

  Kad pozivatelj počne govoriti, agentov glas se stišava i zagušuje: manja glasnoća, manje visokih frekvencija. Ako pozivatelj kaže nešto što se računa, agent staje. Nakon „aha“ ili kašlja nastavlja, od najbliže granice sloga, od početka rečenice ili od točno određenog mjesta. Postavlja se po agentu.

• „Aha“ u stankama

  Unutar duge replike pozivatelja agent umeće kratka potvrđivanja vlastitim glasom. To su unaprijed izrađeni isječci koje je čovjek poslušao i odobrio. Reproduciraju se u stankama, s određenom vjerojatnošću, minimalnim razmakom, ograničenjem po replici i bez ponavljanja, a nikad kad model za kraj replike smatra da je pozivatelj završio.

• Kaže kad nije siguran

  Pouzdanost prepoznavanja ulazi u agentov prompt. Agent vidi nesigurnu transkripciju kao takvu označenu i traži od pozivatelja da ponovi umjesto da pogađa ime ili broj.

• Pristojno rukovanje tišinom

  Ponovni upit, a zatim pozdrav, mjereno od stvarnog kraja reprodukcije, a ne od kraja sinteze.

• Prostor oko glasa

  Neobavezna pozadina ureda ili sobe za sastanke, umiješana pod glas od prve sekunde poziva.

• Agent generira pozdrav tijekom odgode zvonjenja i šalje ga rečenicu po rečenicu.
• Širokopojasni G.722 gdje ga druga strana podržava. Izglađena kontrola pojačanja povisila je omjer signala i šuma s 23 na 28,7 dB na 11 označenih stvarnih poziva.
• Agentov vlastiti „aha“ može se vratiti linijom iz pozivateljeve slušalice. Prepoznavanje ga uklanja iz transkripta, a agent potvrde drži izvan povijesti razgovora.

Slušanje tijekom govora: cijela bilješka

• Kloniranje glasa

  Novi glas iz uzorka od 10 do 30 sekundi i njegova transkripta.

• Rječnici izgovora

  Nazivi marki, ulice i žargon izgovoreni onako kako ih vi izgovarate, s pretpregledom.

• Jedan glas po agentu

  Iz kataloga ili kloniran, brzinom koju odredite.

• Sinteza u tokovima

  Rečenicu po rečenicu: sljedeća je rečenica spremna prije nego što se prva dovrši.

RAGKnowledge Hub

Atlas je naš knowledge hub. Agenta povezujete s jednom ili više baza znanja, a Atlas vraća odlomke koji odgovaraju na pitanje.

U vlastitoj infrastrukturi cijeli se stog instalira na vaše poslužitelje pomoću Dockera, po potrebi i bez interneta. Server Unit nosi 100 istodobnih poziva, a test opterećenja prošao je do 176% toga. Server Unit pod opterećenjem

Server Unit nosi cijeli glasovni stog za do 100 istodobnih poziva. Opterećenje smo podizali od jednog poziva do 176% nazivnog kapaciteta i pratili vrijeme odgovora, udio odgovorenih replika i same pozive. Zatim smo stog optimizirali za veliko opterećenje i ponovili test: kapacitet na razini Standard otprilike se udvostručio, a na najvišem koraku svi su pozivi spojeni i nijedan nije prekinut.

Izmjereno na jednom Server Unitu.

Server Unit pod opterećenjem

• ≈ 0,27 svlastito vrijeme agenta od posljednje riječi pozivatelja do prvog zvuka
• 35 msod odluke da je pozivatelj završio do prvog zvuka, s ranim startom
• 96%replika ima prepoznati tekst spreman unutar 10 ms od te odluke
• ≈ 100 msdo prvog zvuka tek sintetizirane rečenice (medijan)
• ≈ 1 msza reprodukciju fraze koja je već u glasovnoj predmemoriji
• 5–8×brže od stvarnog vremena: koliko se brzo glas sintetizira
• 94%prvih fraza dolazi iz glasovne predmemorije
• 98%odgovora pokreće jezični model prije kraja stanke
• > 99%replika pozivatelja odgovoreno pri 176% nazivnog kapaciteta
• ≈ 150 msza brzu pretragu znanja na poslužitelju

Spremnost prepoznavanja: 96 do 97% od 58.000 replika pri svim opterećenjima. Brzina glasa: medijan 5,0 do 6,5× kroz razine opterećenja, samo promašaji predmemorije. Prvi zvuk nove rečenice: medijan 76 do 106 ms kroz razine opterećenja.