Šta je unutar Dialogist AI glasovnog agenta

Transkripcija traje 0,5 ms nakon odluke jer se prepoznavanje odvija u toku dok pozivalac govori i pravi probni prolaz tokom pauze. S ranim startom jezički model počinje na tom probnom tekstu unutar pauze, pa nakon odluke ostaju 3 ms njegovog posla; u standardnom načinu svih 111 ms dolazi poslije nje. U testu opterećenja rani zahtjev je otišao prije odluke u 98% odgovora, u prosjeku 225 ms ranije pri 50 razgovora i 508 ms ranije pri 128. Ako pozivalac nastavi govoriti, agent odbacuje pripremljeni odgovor i odgovara na cijelu frazu.

Pri 100 istovremenih poziva na Server Unitu isti korak traje otprilike 0,4 s u standardnom načinu i 0,25 s s ranim startom. Cijelu sliku daje bilješka o Server Unitu. Server Unit pod opterećenjem

• ušteda 89–235 ms

  Rani start

  Jezički model počinje na prepoznatom tekstu dok agent još čeka kraj pauze. Ušteda raste s opterećenjem: 89 ms s jednim pozivom, 189 ms pri 96 razgovora, 235 ms pri 128.

• 280 → 40 ms

  Mrtva tišina uklonjena iz govora

  Sintetizirane rečenice počinju tišinom; medijan u našem kešu je 280 ms. Agent je skraćuje na 40 ms dok reproducira isječak, pa je na liniji odgovor jednog poziva stizao oko 200 ms ranije. Keš čuva original.

• ušteda ≈ 0,3 s

  Model kraja replike

  Nakon pauze od 192 ms mali model po intonaciji procjenjuje je li misao završena. Na stvarnim pozivima zatvorio je 87% replika pozivaoca ranije i sačekao 96% pauza usred misli. Prvo može raditi u načinu posmatranja i samo bilježiti šta bi učinio.

• 94%

  Keš glasa

  Agent s diska reproducira fraze koje je već izgovorio. Keš preživljava ponovna pokretanja, a izvan radnog vremena agent ponovo provjerava isječke u kešu tako što ih prepoznaje i ponovo generiše one koji ne prođu.

• Prva rečenica preskače red

  Pod opterećenjem početak odgovora jednog poziva nikad ne čeka iza kraja odgovora drugog. Agent sintetizira sljedeće rečenice dok se prva reproducira.

• Jedan sat za sve pozive

  Medij svih poziva radi na jednom zajedničkom taktu od 20 ms, umjesto jednog tajmera po pozivu.

  Voicecore: medijski backend u Rustu (EN)
• 69 → 0,7 µs

  Jeftiniji audio okviri

  Prosljeđivanje okvira između telefonskog stacka i agenta traje manje od mikrosekunde umjesto desetak.

  Voicecore: medijski backend u Rustu (EN)

Prije i poslije: isti stend, jedan 20-minutni poziv i 50 razgovora, agent za zapošljavanje. Keš: 64.192 fraze u testu opterećenja. Prosljeđivanje okvira: mjereno zasebno na telefonskoj biblioteci.

• Prekidi koji nešto znače

  Pozivalac može govoriti preko agenta, a agent prestaje. Prekid otkriva iz teksta ili iz zvuka. Akustični način ima vlastiti prag i traži neprekinut govor, pa agenta ne prekidaju tastatura, treskanje vrata ili kašalj. Agent ignoriše kratak fragment niske pouzdanosti preko vlastitog glasa, jer tako izgleda eho.

• Glas ustupa mjesto

  Kad pozivalac počne govoriti, glas agenta se stišava i postaje tuplji: manja jačina, manje visokih frekvencija. Ako pozivalac kaže nešto važno, agent staje. Poslije „aha“ ili kašlja nastavlja od najbliže granice sloga, od početka rečenice ili od tačne tačke. Podešava se po agentu.

• „Aha“ u pauzama

  Unutar duge replike pozivaoca agent ubacuje kratka potvrđivanja vlastitim glasom. To su unaprijed snimljeni isječci koje je čovjek preslušao i odobrio. Reproduciraju se u pauzama, s određenom vjerovatnoćom, minimalnim razmakom, ograničenjem po replici i bez ponavljanja, i nikad kada model kraja replike smatra da je pozivalac završio.

• Kaže kad nije siguran

  Pouzdanost prepoznavanja ulazi u prompt agenta. Agent vidi nesigurnu transkripciju označenu kao takvu i traži od pozivaoca da ponovi umjesto da pogađa ime ili broj.

• Tišina riješena ljubazno

  Ponovni upit, pa pozdrav, mjereno od stvarnog kraja reprodukcije, a ne od kraja sinteze.

• Prostor oko glasa

  Opcionalna pozadina ureda ili sale za sastanke, pomiješana ispod glasa od prve sekunde poziva.

• Agent generiše pozdrav tokom odgađanja zvonjave i šalje ga rečenicu po rečenicu.
• Širokopojasni G.722 gdje ga druga strana podržava. Ujednačena kontrola pojačanja podigla je odnos signal–šum s 23 na 28,7 dB na 11 označenih stvarnih poziva.
• Agentovo vlastito „aha“ može se vratiti linijom iz slušalice pozivaoca. Prepoznavanje ga uklanja iz transkripta, a agent potvrđivanja drži izvan historije razgovora.

Slušanje dok govori: cijela bilješka

• Kloniranje glasa

  Novi glas iz uzorka od 10 do 30 sekundi i njegovog transkripta.

• Rječnici izgovora

  Nazivi marki, ulice i žargon izgovoreni onako kako ih vi izgovarate, uz preslušavanje.

• Jedan glas po agentu

  Iz kataloga ili kloniran, brzinom koju postavite.

• Streaming sinteza

  Rečenicu po rečenicu: sljedeća rečenica je spremna prije nego što se prva završi reproducirati.

RAGKnowledge Hub

Atlas je naš Knowledge Hub. Agenta povezujete s jednom ili više baza znanja, a Atlas vraća odlomke koji odgovaraju na pitanje.

On-premise se cijeli stack instalira na vaše servere pomoću Dockera, po potrebi i offline. Server Unit nosi 100 istovremenih poziva i testiran je pod opterećenjem do 176% toga. Server Unit pod opterećenjem

Server Unit nosi cijeli glasovni stack za do 100 istovremenih poziva. Opterećenje smo podizali od jednog poziva do 176% nazivnog kapaciteta i pratili vrijeme odgovora, udio replika na koje je odgovoreno i same pozive. Zatim smo stack optimizirali za veliko opterećenje i ponovili test: kapacitet na razini Standard otprilike se udvostručio, a na najvišem koraku svi pozivi su povezani i nijedan nije prekinut.

Izmjereno na jednom Server Unitu.

Server Unit pod opterećenjem

• ≈ 0,27 svlastito vrijeme agenta od posljednje riječi pozivaoca do prvog zvuka
• 35 msod odluke da je pozivalac završio do prvog zvuka, s ranim startom
• 96%replika ima prepoznati tekst spreman u roku od 10 ms od te odluke
• ≈ 100 msdo prvog zvuka tek sintetizirane rečenice (medijan)
• ≈ 1 msza reprodukciju fraze koja je već u kešu glasa
• 5–8×brže od stvarnog vremena: koliko brzo se glas sintetizira
• 94%prvih fraza dolazi iz keša glasa
• 98%odgovora pokreće jezički model prije kraja pauze
• > 99%replika pozivaoca na koje je odgovoreno pri 176% nazivnog kapaciteta
• ≈ 150 msza brzu pretragu znanja na serveru

Spremnost prepoznavanja: 96 do 97% od 58.000 replika pri svim opterećenjima. Brzina glasa: medijan 5,0 do 6,5× pri svim nivoima opterećenja, samo promašaji keša. Prvi zvuk nove rečenice: medijan 76 do 106 ms pri svim nivoima opterećenja.