Ljudi retko čekaju tišinu pre nego što odgovore. Čuju kako se rečenica zatvara: ton pada, poslednja reč sleže, i počnu da govore za delić sekunde.
Ovu belešku smo prvobitno napisali na osnovu jednog poziva. Ova verzija se oslanja na mnogo poziva. Pravi pozivi: 233 poziva i 1.468 replika pozivalaca tokom četiri nedelje. Stend za test opterećenja: 97.517 replika pozivalaca sa simuliranim pozivaocima na svakom nivou opterećenja. Agent beleži svaku procenu modela zajedno s onim što se zatim desilo.
| Mera | Vrednost |
|---|---|
| Replike pozivalaca iza ovih brojki, pravi pozivi i test opterećenja | ≈ 99.000 |
| Replike pozivalaca na pravim pozivima koje je model zatvorio rano | 87% |
| Od toga zatvoreno na prvi pogled modela | 95% |
| Vreme vraćeno po replici pozivaoca na pravim pozivima, u proseku | ≈ 0,3 s |
| Pauze usred misli koje je model sačekao | 96% |
Kompromis tajmera tišine
Glasovni agent koji samo sluša tišinu mora da bira između dve loše opcije. Ako svaku pauzu smatra krajem replike, upada u reč ljudima koji zastanu da razmisle: „Moj broj porudžbine je… trenutak… 4417.“ Ako čeka dovoljno dugo da bude siguran, svaki odgovor kasni i ceo poziv deluje troma. Fiksni tajmer ne može da bude u pravu za oba slučaja: kratka pauza posle „Halo?“ i kratka pauza posle „Moj broj porudžbine je“ njemu zvuče isto.
Slušanje kako rečenica završava
Naš agent ne odlučuje samo na osnovu tišine. Posle kratke pauze, podrazumevano 192 ms, pita mali model drugo pitanje: da li je, sudeći po intonaciji onoga što je upravo rečeno, misao završena?
- Ako je model siguran, replika se odmah zatvara i odgovor počinje. Njegova presuda važi već na sledećem okviru zvuka od 32 ms.
- Ako nije, agent nastavlja da sluša i malo kasnije pita ponovo.
- Ako je pozivalac stao, tajmer tišine i dalje zatvara repliku, pa niko ne ostaje da čeka.
Model zatvara većinu replika, a tajmer ostaje kao sigurnosna mreža.
Na pravim pozivima
Tokom četiri nedelje, 233 prava poziva i 1.468 replika pozivalaca:
- Model je zatvorio 87% replika pozivalaca pre nego što bi to uradio tajmer tišine.
- Od toga je 95% zatvorio na prvi pogled, na prvoj pauzi o kojoj je pitan.
- Kad je zatvorio repliku, bio je siguran: medijalna pouzdanost bila je 0,977, a devet od deset zatvaranja bilo je iznad 0,91.
- Usrednjeno preko svih replika pozivalaca, uključujući one koje je zatvorio tajmer, agent je odgovarao oko 0,3 s ranije (292 ms).
Na pravim pozivima model je zatvorio 87% replika pozivalaca pre tajmera tišine, a agent je odgovarao oko 0,3 s ranije po replici.
Ušteda zavisi od toga koliko je agent podešen da bude strpljiv. Svaki agent ima dve postavke: pauzu pre nego što se model prvi put pita i tajmer tišine iza nje. Strpljiv agent, za pozivaoce koji misle naglas, čeka duže, pa model tada štedi više jer je tajmer koji prestiže duži.
| Postavka: prvi pogled / tajmer | Replike pozivalaca | Zatvoreno rano | Ušteda po ranom zatvaranju |
|---|---|---|---|
| 192 / 512 ms (podrazumevano) | 1.048 | 88% | 288 ms |
| 320 / 800 ms | 274 | 91% | 448 ms |
| 320 / 928 ms (najstrpljiviji) | 144 | 76% | 576 ms |
Daje ljudima vremena da razmisle
Model takođe mora da zna kada ne treba odgovoriti.
U 157 replika na pravim pozivima pozivalac je zastao usred misli, pa nastavio. U 151 od njih, 96%, model je procenio da misao nije završena i čekao. Tamo gde je pozivalac nastavio da govori, medijalna pouzdanost modela da je završio bila je 0,015, daleko od greške.
Model razlikuje dve situacije samo po zvuku. Padajuća, zatvarajuća intonacija i ona koja visi, nedovršena, nose različite informacije, a model je treniran da čuje tu razliku.
Pod opterećenjem
Na stendu za test opterećenja simulirani pozivaoci vodili su razgovore s agentom za regrutaciju na svakom nivou opterećenja do 176% nazivnog kapaciteta jednog Server Unita. Na 97.517 replika pozivalaca:
- model je rano zatvorio 88%;
- od toga je 94% zatvorio na prvi pogled;
- svako rano zatvaranje uštedelo je 0,45 s po medijani, uz strpljivu postavku korišćenu na stendu (320 / 800 ms).
Ove brojke obuhvataju sve nivoe opterećenja testa zajedno, od jednog poziva do 176% nazivnog kapaciteta.
Prvo posmatranje, pa uključivanje
Model kraja replike ima tri režima za svakog agenta: off, observe i commit.
U režimu observe ništa ne menja. Beleži svaku procenu koju bi doneo, zajedno s onim što se zatim desilo: da li je pozivalac stao ili nastavio. Taj log meri koliko bi često model nekome upao u reč, na stvarnom saobraćaju, pre nego što mu se dozvoli da bilo kome upadne u reč. Log čuva svaku procenu, sigurnu ili ne, pa kasnije možemo pomerati prag u oba smera.
Kada se log slaže s onim što su pozivaoci radili, agenta prebacujemo na commit. Brojke u ovoj belešci potiču iz tog loga.
Gde slušamo najpažljivije
- Liste i brojevi. Pozivalac koji čita broj kartice ili adresu zvuči završeno između grupa. To su replike koje prve uzorkujemo kad podešavamo.
- Bučne linije. Kašalj ili glas u pozadini može otvoriti repliku. Agent prepoznaje da nema na šta da odgovori i ćuti.
Prateća beleška, Slušanje dok govorimo, opisuje šta agent radi sa kanalom pozivaoca dok govori: rani start, prekide i kratka potvrđivanja.