Ljudi rijetko čekaju tišinu prije nego odgovore. Čuju kako se rečenica zatvara: visina tona pada, posljednja riječ sleti i počinju govoriti u djeliću sekunde.
Ovu smo bilješku prvi put napisali na temelju jednog poziva. Ova se verzija oslanja na mnogo poziva. Stvarni pozivi: 233 poziva i 1.468 replika pozivatelja tijekom četiri tjedna. Testni postav za opterećenje: 97.517 replika pozivatelja sa simuliranim pozivateljima na svakoj razini opterećenja. Agent bilježi svaku procjenu modela zajedno s onim što se zatim dogodilo.
| Mjera | Iznos |
|---|---|
| Replika pozivatelja iza ovih brojki, stvarni pozivi i test opterećenja | ≈ 99.000 |
| Replika pozivatelja u stvarnim pozivima koje je model zatvorio rano | 87% |
| Od toga zatvoreno na prvi pogled modela | 95% |
| Vrijeme vraćeno po replici pozivatelja u stvarnim pozivima, u prosjeku | ≈ 0,3 s |
| Stanki usred misli koje je model pričekao | 96% |
Kompromis mjerača tišine
Glasovni agent koji sluša samo tišinu mora birati između dvije loše mogućnosti. Ako svaku stanku smatra krajem replike, upada u riječ ljudima koji staju razmisliti: „Broj moje narudžbe je… trenutak… 4417.“ Ako čeka dovoljno dugo da bude siguran, svaki odgovor kasni i cijeli poziv djeluje trom. Fiksni mjerač ne može biti ispravan za oba slučaja: kratka stanka nakon „Halo?“ i kratka stanka nakon „Broj moje narudžbe je“ njemu zvuče isto.
Slušanje kako rečenica završava
Naš agent ne odlučuje samo na temelju tišine. Nakon kratke stanke, prema zadanim postavkama 192 ms, malom modelu postavlja drugo pitanje: je li, sudeći po intonaciji onoga što je upravo rečeno, misao dovršena?
- Ako je model siguran, replika se odmah zatvara i odgovor počinje. Njegova presuda vrijedi na sljedećem okviru zvuka od 32 ms.
- Ako nije, agent nastavlja slušati i malo poslije pita ponovno.
- Ako je pozivatelj prestao govoriti, mjerač tišine svejedno zatvara repliku, pa nitko ne ostaje čekati.
Model zatvara većinu replika, a mjerač ostaje kao sigurnosna mreža.
U stvarnim pozivima
Tijekom četiri tjedna, 233 stvarna poziva i 1.468 replika pozivatelja:
- Model je zatvorio 87% replika pozivatelja prije nego bi to učinio mjerač tišine.
- Od toga je 95% zatvorio na prvi pogled, na prvoj stanci o kojoj je pitan.
- Kad je zatvorio repliku, bio je siguran: medijan pouzdanosti bio je 0,977, a devet od deset zatvaranja bilo je iznad 0,91.
- U prosjeku preko svih replika pozivatelja, uključujući one koje je zatvorio mjerač, agent je odgovarao oko 0,3 s ranije (292 ms).
U stvarnim pozivima model je zatvorio 87% replika pozivatelja prije mjerača tišine, a agent je odgovarao oko 0,3 s ranije po replici.
Ušteda ovisi o tome koliko je agent podešen da bude strpljiv. Svaki agent ima dvije postavke: stanku prije nego se model prvi put upita i mjerač tišine iza nje. Strpljiv agent, za pozivatelje koji misle naglas, čeka dulje, a model tada štedi više jer je mjerač koji pobjeđuje dulji.
| Postavka: prvi pogled / mjerač | Replike pozivatelja | Zatvoreno rano | Ušteda po ranom zatvaranju |
|---|---|---|---|
| 192 / 512 ms (zadano) | 1.048 | 88% | 288 ms |
| 320 / 800 ms | 274 | 91% | 448 ms |
| 320 / 928 ms (najstrpljiviji) | 144 | 76% | 576 ms |
Ostavlja ljudima vrijeme za razmišljanje
Model mora znati i kada ne odgovoriti.
U 157 replika u stvarnim pozivima pozivatelj je zastao usred misli i zatim nastavio. U 151 njih, 96%, model je procijenio da misao nije dovršena i pričekao. Gdje je pozivatelj nastavio govoriti, medijan pouzdanosti modela da je završio bio je 0,015, daleko od pogreške.
Model razlikuje ta dva slučaja samo po zvuku. Padajuća, zatvarajuća intonacija i lebdeća, nedovršena nose različitu informaciju, a model je treniran da čuje tu razliku.
Pod opterećenjem
Na testnom postavu za opterećenje simulirani pozivatelji vodili su razgovore s agentom za zapošljavanje na svakoj razini opterećenja do 176% nazivnog kapaciteta jednog Server Unita. Na 97.517 replika pozivatelja:
- model je rano zatvorio 88%;
- od toga je 94% zatvorio na prvi pogled;
- svako rano zatvaranje uštedjelo je 0,45 s u medijanu, uz strpljivu postavku korištenu na postavu (320 / 800 ms).
Ove brojke obuhvaćaju sve razine opterećenja testa zajedno, od jednog poziva do 176% nazivnog kapaciteta.
Najprije promatrati, zatim uključiti
Model kraja replike ima tri načina rada za svakog agenta: off, observe i commit.
U načinu observe ne mijenja ništa. Bilježi svaku procjenu koju bi donio, zajedno s onim što se zatim dogodilo: je li pozivatelj stao ili nastavio. Taj zapisnik mjeri koliko bi često model nekome upao u riječ, na stvarnom prometu, prije nego što mu se dopusti da ikome upadne u riječ. Zapisnik čuva svaku procjenu, sigurnu ili ne, pa poslije možemo pomaknuti prag u oba smjera.
Kad se zapisnik slaže s onim što su pozivatelji učinili, agenta prebacujemo na commit. Brojke u ovoj bilješci potječu iz tog zapisnika.
Gdje slušamo najpažljivije
- Popisi i brojevi. Pozivatelj koji čita broj kartice ili adresu zvuči dovršeno između skupina. To su replike koje najprije uzorkujemo kad podešavamo.
- Bučne linije. Kašalj ili glas u pozadini može otvoriti repliku. Agent prepoznaje da nema čemu odgovoriti i šuti.
Prateća bilješka, Slušanje dok govori, opisuje što agent radi s kanalom pozivatelja dok govori: rani start, upade u riječ i kratke potvrde.