Šta je unutra u Dialogist AI glasovnom agentu

Transkripcija traje 0,5 ms posle odluke jer prepoznavanje radi u toku dok pozivalac govori i pravi probni prolaz tokom pauze. Uz rani start jezički model počinje na tom probnom tekstu unutar pauze, pa posle odluke ostaju 3 ms njegovog posla; u standardnom režimu svih 111 ms dolazi posle nje. U testu opterećenja rani zahtev je otišao pre odluke u 98% odgovora, u proseku 225 ms ranije pri 50 razgovora i 508 ms ranije pri 128. Ako pozivalac nastavi da govori, agent odbacuje pripremljeni odgovor i odgovara na celu rečenicu.

Pri 100 istovremenih poziva na jednom Server Unit-u isti korak traje oko 0,4 s u standardnom režimu i 0,25 s uz rani start. Cela slika je u belešci o Server Unit-u. Server Unit pod opterećenjem

• ušteda 89–235 ms

  Rani start

  Jezički model kreće na prepoznatom tekstu dok agent još čeka da prođe pauza. Ušteda raste sa opterećenjem: 89 ms pri jednom pozivu, 189 ms pri 96 razgovora, 235 ms pri 128.

• 280 → 40 ms

  Mrtva tišina uklonjena iz govora

  Sintetizovane rečenice počinju tišinom; medijana u našem kešu je 280 ms. Agent je skraćuje na 40 ms dok reprodukuje klip, pa je na liniji odgovor jednog poziva stizao oko 200 ms ranije. Keš čuva original.

• ušteda ≈ 0,3 s

  Model kraja replike

  Posle pauze od 192 ms mali model po intonaciji procenjuje da li je misao završena. U stvarnim pozivima rano je zatvorio 87% replika pozivalaca i sačekao 96% pauza usred misli. Može prvo da radi u režimu posmatranja i samo beleži šta bi uradio.

• 94%

  Keš glasa

  Agent sa diska reprodukuje fraze koje je već izgovorio. Keš preživljava restarte, a van radnog vremena agent proverava keširane klipove tako što ih prepoznaje, pa one koji ne prođu ponovo generiše.

• Prva rečenica preskače red

  Pod opterećenjem početak odgovora jednog poziva nikada ne čeka iza kraja odgovora drugog. Agent sintetizuje sledeće rečenice dok se prva reprodukuje.

• Jedan sat za sve pozive

  Medij svih poziva radi na jednom zajedničkom otkucaju od 20 ms, umesto jednog tajmera po pozivu.

  Voicecore: medijski backend u Rustu (EN)
• 69 → 0,7 µs

  Jeftiniji audio frejmovi

  Predaja frejma između telefonskog steka i agenta traje manje od mikrosekunde umesto desetak.

  Voicecore: medijski backend u Rustu (EN)

Pre i posle: isti stend, jedan poziv od 20 minuta i 50 razgovora, agent za regrutaciju. Keš: 64.192 fraze u testu opterećenja. Predaja frejma: merena izolovano na biblioteci za telefoniju.

• Upadice koje nešto znače

  Pozivalac može da govori preko agenta, a agent staje. Upadicu prepoznaje po tekstu ili po zvuku. Akustički režim ima sopstveni prag i traži neprekinut govor, pa tastatura, zalupljena vrata ili kašalj ne prekidaju agenta. Agent ignoriše kratak fragment niske pouzdanosti preko sopstvenog glasa, a tako izgleda eho.

• Glas se povlači

  Kada pozivalac počne da govori, glas agenta se stišava i zatamnjuje: manja jačina, manje visokih frekvencija. Ako pozivalac kaže nešto što se računa, agent staje. Posle „aha“ ili kašlja vraća se od najbliže granice sloga, od početka rečenice ili iz tačne tačke prekida. Podešava se po agentu.

• „Aha“ u pauzama

  Usred duge replike pozivaoca agent ubacuje kratke potvrde sopstvenim glasom. To su unapred snimljeni klipovi koje je čovek preslušao i odobrio. Reprodukuju se u pauzama, sa verovatnoćom, minimalnim razmakom, ograničenjem po replici i bez ponavljanja, a nikada kada model kraja replike smatra da je pozivalac završio.

• Kaže kada nije siguran

  Pouzdanost prepoznavanja ulazi u prompt agenta. Agent vidi nesigurnu transkripciju označenu kao takvu i traži od pozivaoca da ponovi umesto da pogađa ime ili broj.

• Učtivo rukovanje tišinom

  Ponovni upit, pa pozdrav, mereno od stvarnog kraja reprodukcije, a ne od kraja sinteze.

• Prostorija oko glasa

  Opcionalna pozadina kancelarije ili sale za sastanke, pomešana ispod glasa od prve sekunde poziva.

• Agent generiše pozdrav tokom odlaganja zvonjenja i šalje ga rečenicu po rečenicu.
• Širokopojasni G.722 gde ga druga strana podržava. Ublaženo automatsko pojačanje podiglo je odnos signal-šum sa 23 na 28,7 dB na 11 označenih stvarnih poziva.
• Agentovo „aha“ može da se vrati kroz liniju sa slušalice pozivaoca. Prepoznavanje ga uklanja iz transkripta, a agent drži potvrde van istorije razgovora.

Slušanje dok govori: cela beleška

• Kloniranje glasa

  Novi glas iz uzorka od 10 do 30 sekundi i njegovog transkripta.

• Rečnici izgovora

  Nazivi brendova, ulice i žargon izgovoreni onako kako ih vi izgovarate, sa preslušavanjem.

• Jedan glas po agentu

  Iz kataloga ili kloniran, brzinom koju zadate.

• Sinteza u toku

  Rečenicu po rečenicu: sledeća rečenica je spremna pre nego što se prva završi.

RAGKnowledge Hub

Atlas je naš knowledge hub. Agenta povezujete sa jednom ili više baza znanja, a Atlas vraća pasuse koji odgovaraju na pitanje.

On-premise, ceo stek se instalira na vaše servere pomoću Dockera, po potrebi i bez interneta. Server Unit nosi 100 istovremenih poziva i testiran je do 176% toga. Server Unit pod opterećenjem

Server Unit nosi ceo glasovni stek za do 100 istovremenih poziva. Opterećenje smo podizali od jednog poziva do 176% nazivnog kapaciteta i pratili vreme odgovora, udeo odgovorenih replika i same pozive. Zatim smo optimizovali stek za veliko opterećenje i ponovili test: kapacitet na Standard nivou se otprilike udvostručio, a na najvišem koraku svi pozivi su se povezali i nijedan nije pao.

Izmereno na jednom Server Unit-u.

Server Unit pod opterećenjem

• ≈ 0,27 ssopstveno vreme agenta od poslednje reči pozivaoca do prvog zvuka agenta
• 35 msod odluke da je pozivalac završio do prvog zvuka, uz rani start
• 96%replika ima prepoznati tekst spreman u roku od 10 ms od te odluke
• ≈ 100 msdo prvog zvuka sveže sintetizovane rečenice (medijana)
• ≈ 1 msda se reprodukuje fraza koja je već u kešu glasa
• 5–8×brže od stvarnog vremena: koliko brzo se glas sintetizuje
• 94%prvih fraza dolazi iz keša glasa
• 98%odgovora pokreće jezički model pre kraja pauze
• > 99%replika pozivalaca odgovoreno pri 176% nazivnog kapaciteta
• ≈ 150 msza brzu pretragu znanja na serveru

Spremnost prepoznavanja: 96 do 97% od 58.000 replika pri svim opterećenjima. Brzina glasa: medijana 5,0 do 6,5× pri različitim nivoima opterećenja, samo promašaji keša. Prvi zvuk sveže rečenice: medijana 76 do 106 ms pri različitim nivoima opterećenja.