Ljudi rijetko čekaju tišinu prije nego odgovore. Čuju kako se rečenica zatvara: ton pada, posljednja riječ sleti, i počnu govoriti u djeliću sekunde.
Ovu bilješku smo prvobitno napisali na osnovu jednog poziva. Ova verzija se oslanja na mnogo poziva. Stvarni pozivi: 233 poziva i 1.468 replika pozivalaca tokom četiri sedmice. Test-stand za opterećenje: 97.517 replika pozivalaca sa simuliranim pozivaocima na svakom nivou opterećenja. Agent bilježi svaku procjenu modela zajedno s onim što se desilo poslije.
| Mjera | Vrijednost |
|---|---|
| Replike pozivalaca iza ovih brojki, stvarni pozivi i test opterećenja | ≈ 99.000 |
| Replike pozivalaca u stvarnim pozivima koje je model zatvorio ranije | 87% |
| Od toga zatvoreno na prvi pogled modela | 95% |
| Vrijeme vraćeno po replici pozivaoca u stvarnim pozivima, u prosjeku | ≈ 0,3 s |
| Pauze usred misli koje je model sačekao | 96% |
Kompromis tajmera tišine
Glasovni agent koji sluša samo tišinu mora birati između dvije loše mogućnosti. Ako svaku pauzu smatra krajem replike, upada u riječ ljudima koji stanu da razmisle: „Broj moje narudžbe je… trenutak… 4417.“ Ako čeka dovoljno dugo da bude siguran, svaki odgovor počinje kasno i cijeli poziv djeluje trom. Fiksni tajmer ne može biti ispravan za oba slučaja: kratka pauza nakon „Halo?“ i kratka pauza nakon „Broj moje narudžbe je“ njemu zvuče isto.
Slušanje kako se rečenica završava
Naš agent ne odlučuje samo na osnovu tišine. Nakon kratke pauze, po zadanim postavkama 192 ms, postavlja malom modelu drugo pitanje: je li, sudeći po intonaciji onoga što je upravo izgovoreno, misao završena?
- Ako je model siguran, replika se odmah zatvara i odgovor počinje. Njegova presuda vrijedi od sljedećeg okvira zvuka od 32 ms.
- Ako nije, agent nastavlja slušati i pita ponovo malo kasnije.
- Ako je pozivalac stao, tajmer tišine svejedno zatvara repliku, pa niko ne ostaje da čeka.
Model zatvara većinu replika, a tajmer ostaje kao sigurnosna mreža.
U stvarnim pozivima
Tokom četiri sedmice, 233 stvarna poziva i 1.468 replika pozivalaca:
- Model je zatvorio 87% replika pozivalaca prije nego bi to učinio tajmer tišine.
- Od toga je 95% zatvorio na prvi pogled, na prvoj pauzi o kojoj je upitan.
- Kad je zatvorio repliku, bio je siguran: medijana pouzdanosti bila je 0,977, a devet od deset zatvaranja imalo je više od 0,91.
- Prosječno po svakoj replici pozivaoca, uključujući one koje je zatvorio tajmer, agent je odgovorio oko 0,3 s ranije (292 ms).
U stvarnim pozivima model je zatvorio 87% replika pozivalaca prije tajmera tišine, a agent je odgovarao oko 0,3 s ranije po replici.
Ušteda zavisi od toga koliko je agent podešen da bude strpljiv. Svaki agent ima dvije postavke: pauzu prije nego što se model prvi put upita i tajmer tišine iza nje. Strpljiv agent, za pozivaoce koji misle naglas, čeka duže, a model tada uštedi više jer je tajmer koji pobjeđuje duži.
| Postavka: prvi pogled / tajmer | Replike pozivalaca | Zatvoreno ranije | Ušteda po ranom zatvaranju |
|---|---|---|---|
| 192 / 512 ms (zadano) | 1.048 | 88% | 288 ms |
| 320 / 800 ms | 274 | 91% | 448 ms |
| 320 / 928 ms (najstrpljiviji) | 144 | 76% | 576 ms |
Pušta ljude da misle
Model također mora znati kad ne treba odgovoriti.
U 157 replika u stvarnim pozivima pozivalac je zastao usred misli, a zatim nastavio. U 151 od njih, 96%, model je procijenio da misao nije završena i sačekao. Kad je pozivalac nastavio govoriti, medijana pouzdanosti modela da je završio iznosila je 0,015, daleko od greške.
Model razlikuje ta dva slučaja samo po zvuku. Intonacija koja pada i zatvara te intonacija koja visi i ostaje nedovršena nose različitu informaciju, a model je treniran da čuje tu razliku.
Pod opterećenjem
Na test-standu za opterećenje simulirani pozivaoci su vodili razgovore s agentom za regrutaciju na svakom nivou opterećenja do 176% nazivnog kapaciteta jednog Server Unita. Na 97.517 replika pozivalaca:
- model je rano zatvorio 88%;
- od toga je 94% zatvorio na prvi pogled;
- svako rano zatvaranje uštedjelo je 0,45 s po medijani, uz strpljivu postavku korištenu na standu (320 / 800 ms).
Ove brojke obuhvataju sve nivoe opterećenja testa zajedno, od jednog poziva do 176% nazivnog kapaciteta.
Prvo posmatranje, zatim uključivanje
Model kraja replike ima tri režima za svakog agenta: off, observe i commit.
U režimu observe ne mijenja ništa. Bilježi svaku presudu koju bi donio, zajedno s onim što se desilo poslije: je li pozivalac stao ili nastavio. Taj zapis mjeri koliko bi puta model nekome upao u riječ, na stvarnom saobraćaju, prije nego što mu se dopusti da bilo kome upadne. Zapis čuva svaku presudu, sigurnu ili ne, pa prag poslije možemo pomjerati u oba smjera.
Kad se zapis slaže s onim što su pozivaoci uradili, agenta prebacujemo na commit. Brojke u ovoj bilješci potiču iz tog zapisa.
Gdje slušamo najpažljivije
- Liste i brojevi. Pozivalac koji diktira broj kartice ili adresu zvuči završeno između grupa. To su replike koje prve uzorkujemo kad podešavamo.
- Bučne linije. Kašalj ili glas u pozadini može otvoriti repliku. Agent prepozna da nema šta da odgovori i šuti.
Prateća bilješka, Slušanje dok se govori, opisuje šta agent radi s kanalom pozivaoca dok govori: rani početak, prekide i kratke potvrde.