Ljudi rijetko čekaju tišinu prije nego što odgovore. Čuju kako se rečenica zatvara: visina tona pada, posljednja riječ sleti, i počinju da govore u djeliću sekunde.
Ovu bilješku smo prvi put napisali na osnovu jednog poziva. Ova verzija se oslanja na mnogo poziva. Stvarni pozivi: 233 poziva i 1.468 replika pozivalaca tokom četiri sedmice. Sto za test opterećenja: 97.517 replika pozivalaca sa simuliranim pozivaocima na svakom nivou opterećenja. Agent bilježi svaku procjenu modela zajedno sa onim što se zatim dogodilo.
| Mjera | Vrijednost |
|---|---|
| Replika pozivalaca iza ovih brojeva, stvarni pozivi i test opterećenja | ≈ 99.000 |
| Replika pozivalaca na stvarnim pozivima koje je model rano zatvorio | 87% |
| Od toga zatvoreno na prvi pogled modela | 95% |
| Vrijeme vraćeno po replici pozivaoca na stvarnim pozivima, u prosjeku | ≈ 0,3 s |
| Pauze usred misli koje je model sačekao | 96% |
Kompromis tajmera tišine
Glasovni agent koji samo sluša tišinu mora birati između dvije loše opcije. Ako svaku pauzu smatra krajem replike, upada u riječ ljudima koji stanu da razmisle: „Moj broj narudžbine je… sačekajte… 4417.“ Ako čeka dovoljno dugo da bude siguran, svaki odgovor kasni i cijeli poziv djeluje troma. Fiksni tajmer ne može biti u pravu u oba slučaja: kratka pauza poslije „Halo?“ i kratka pauza poslije „Moj broj narudžbine je“ njemu zvuče isto.
Slušanje kako se rečenica završava
Naš agent ne odlučuje samo po tišini. Poslije kratke pauze, po zadanim postavkama 192 ms, malom modelu postavlja drugo pitanje: je li, sudeći po intonaciji onoga što je upravo rečeno, misao potpuna?
- Ako je model siguran, replika se odmah zatvara i odgovor počinje. Njegova presuda važi već na sljedećem okviru zvuka od 32 ms.
- Ako nije, agent nastavlja da sluša i malo kasnije pita ponovo.
- Ako je pozivalac stao, tajmer tišine i dalje zatvara repliku, pa niko ne ostaje da čeka.
Model zatvara većinu replika, a tajmer ostaje kao zaštitna mreža.
Na stvarnim pozivima
Tokom četiri sedmice, 233 stvarna poziva i 1.468 replika pozivalaca:
- Model je zatvorio 87% replika pozivalaca prije nego što bi to učinio tajmer tišine.
- Njih 95% zatvorio je na prvi pogled, u prvoj pauzi o kojoj je pitan.
- Kad je zatvorio repliku, bio je siguran: medijana pouzdanosti bila je 0,977, a devet od deset zatvaranja bilo je iznad 0,91.
- Uprosječeno preko svih replika pozivalaca, uključujući one koje je zatvorio tajmer, agent je odgovarao oko 0,3 s ranije (292 ms).
Na stvarnim pozivima model je zatvorio 87% replika pozivalaca prije tajmera tišine, a agent je odgovarao oko 0,3 s ranije po replici.
Ušteda zavisi od toga koliko je agent podešen da bude strpljiv. Svaki agent ima dvije postavke: pauzu prije nego što se model prvi put pita i tajmer tišine iza nje. Strpljiv agent, za pozivaoce koji misle naglas, čeka duže, a model tada štedi više jer je tajmer koji pretiče duži.
| Postavka: prvi pogled / tajmer | Replika pozivalaca | Rano zatvoreno | Ušteda po ranom zatvaranju |
|---|---|---|---|
| 192 / 512 ms (zadano) | 1.048 | 88% | 288 ms |
| 320 / 800 ms | 274 | 91% | 448 ms |
| 320 / 928 ms (najstrpljiviji) | 144 | 76% | 576 ms |
Dopušta ljudima da misle
Model takođe mora znati kada ne treba odgovoriti.
U 157 replika na stvarnim pozivima pozivalac je zastao usred misli, a zatim nastavio. U 151 od njih, 96%, model je procijenio da misao nije završena i sačekao. Tamo gdje je pozivalac nastavio da govori, medijana pouzdanosti modela da je završio bila je 0,015, daleko od greške.
Model razlikuje te dvije situacije samo po zvuku. Padajuća, zatvarajuća intonacija i viseća, nedovršena nose različitu informaciju, a model je treniran da čuje tu razliku.
Pod opterećenjem
Na stolu za test opterećenja simulirani pozivaoci vodili su razgovore sa agentom za zapošljavanje na svakom nivou opterećenja do 176% nazivnog kapaciteta jednog Server Unit. Na 97.517 replika pozivalaca:
- model je rano zatvorio 88%;
- njih 94% zatvorio je na prvi pogled;
- svako rano zatvaranje uštedjelo je 0,45 s u medijani, uz strpljivu postavku korišćenu na stolu (320 / 800 ms).
Ovi brojevi obuhvataju sve nivoe opterećenja u testu zajedno, od jednog poziva do 176% nazivnog kapaciteta.
Prvo posmatranje, pa uključivanje
Model kraja replike ima tri režima za svakog agenta: off, observe i commit.
U režimu observe ništa ne mijenja. Bilježi svaku presudu koju bi donio, zajedno sa onim što se zatim dogodilo: je li pozivalac stao ili nastavio. Taj zapis mjeri koliko bi često model nekome upao u riječ, na stvarnom saobraćaju, prije nego što mu se dopusti da bilo kome upadne u riječ. Zapis čuva svaku presudu, sigurnu ili ne, pa naknadno prag možemo pomjerati u oba smjera.
Kad se zapis slaže s onim što su pozivaoci radili, agenta prebacujemo na commit. Brojevi u ovoj bilješci potiču iz tog zapisa.
Gdje slušamo najpažljivije
- Liste i brojevi. Pozivalac koji diktira broj kartice ili adresu zvuči završeno između grupa. To su replike koje prve uzorkujemo kad podešavamo.
- Bučne linije. Kašalj ili glas u pozadini može otvoriti repliku. Agent prepoznaje da nema na šta da odgovori i ćuti.
Prateća bilješka, Slušanje dok govori, opisuje šta agent radi sa kanalom pozivaoca dok sam govori: rani početak, upadanje u riječ i kratke potvrde.