Људи ретко чекају тишину пре него што одговоре. Чују како се реченица затвара: тон пада, последња реч слеже, и почну да говоре за делић секунде.
Ову белешку смо првобитно написали на основу једног позива. Ова верзија се ослања на много позива. Прави позиви: 233 позива и 1.468 реплика позивалаца током четири недеље. Стенд за тест оптерећења: 97.517 реплика позивалаца са симулираним позиваоцима на сваком нивоу оптерећења. Агент бележи сваку процену модела заједно с оним што се затим десило.
| Мера | Вредност |
|---|---|
| Реплике позивалаца иза ових бројки, прави позиви и тест оптерећења | ≈ 99.000 |
| Реплике позивалаца на правим позивима које је модел затворио рано | 87% |
| Од тога затворено на први поглед модела | 95% |
| Време враћено по реплици позиваоца на правим позивима, у просеку | ≈ 0,3 с |
| Паузе усред мисли које је модел сачекао | 96% |
Компромис тајмера тишине
Гласовни агент који само слуша тишину мора да бира између две лоше опције. Ако сваку паузу сматра крајем реплике, упада у реч људима који застану да размисле: „Мој број поруџбине је… тренутак… 4417.“ Ако чека довољно дуго да буде сигуран, сваки одговор касни и цео позив делује трома. Фиксни тајмер не може да буде у праву за оба случаја: кратка пауза после „Хало?“ и кратка пауза после „Мој број поруџбине је“ њему звуче исто.
Слушање како реченица завршава
Наш агент не одлучује само на основу тишине. После кратке паузе, подразумевано 192 мс, пита мали модел друго питање: да ли је, судећи по интонацији онога што је управо речено, мисао завршена?
- Ако је модел сигуран, реплика се одмах затвара и одговор почиње. Његова пресуда важи већ на следећем оквиру звука од 32 мс.
- Ако није, агент наставља да слуша и мало касније пита поново.
- Ако је позивалац стао, тајмер тишине и даље затвара реплику, па нико не остаје да чека.
Модел затвара већину реплика, а тајмер остаје као сигурносна мрежа.
На правим позивима
Током четири недеље, 233 права позива и 1.468 реплика позивалаца:
- Модел је затворио 87% реплика позивалаца пре него што би то урадио тајмер тишине.
- Од тога је 95% затворио на први поглед, на првој паузи о којој је питан.
- Кад је затворио реплику, био је сигуран: медијална поузданост била је 0,977, а девет од десет затварања било је изнад 0,91.
- Усредњено преко свих реплика позивалаца, укључујући оне које је затворио тајмер, агент је одговарао око 0,3 с раније (292 мс).
На правим позивима модел је затворио 87% реплика позивалаца пре тајмера тишине, а агент је одговарао око 0,3 с раније по реплици.
Уштеда зависи од тога колико је агент подешен да буде стрпљив. Сваки агент има две поставке: паузу пре него што се модел први пут пита и тајмер тишине иза ње. Стрпљив агент, за позиваоце који мисле наглас, чека дуже, па модел тада штеди више јер је тајмер који престиже дужи.
| Поставка: први поглед / тајмер | Реплике позивалаца | Затворено рано | Уштеда по раном затварању |
|---|---|---|---|
| 192 / 512 мс (подразумевано) | 1.048 | 88% | 288 мс |
| 320 / 800 мс | 274 | 91% | 448 мс |
| 320 / 928 мс (најстрпљивији) | 144 | 76% | 576 мс |
Даје људима времена да размисле
Модел такође мора да зна када не треба одговорити.
У 157 реплика на правим позивима позивалац је застао усред мисли, па наставио. У 151 од њих, 96%, модел је проценио да мисао није завршена и чекао. Тамо где је позивалац наставио да говори, медијална поузданост модела да је завршио била је 0,015, далеко од грешке.
Модел разликује две ситуације само по звуку. Падајућа, затварајућа интонација и она која виси, недовршена, носе различите информације, а модел је трениран да чује ту разлику.
Под оптерећењем
На стенду за тест оптерећења симулирани позиваоци водили су разговоре с агентом за регрутацију на сваком нивоу оптерећења до 176% називног капацитета једног Server Unitа. На 97.517 реплика позивалаца:
- модел је рано затворио 88%;
- од тога је 94% затворио на први поглед;
- свако рано затварање уштедело је 0,45 с по медијани, уз стрпљиву поставку коришћену на стенду (320 / 800 мс).
Ове бројке обухватају све нивое оптерећења теста заједно, од једног позива до 176% називног капацитета.
Прво посматрање, па укључивање
Модел краја реплике има три режима за сваког агента: офф, обсерве и цоммит.
У режиму обсерве ништа не мења. Бележи сваку процену коју би донео, заједно с оним што се затим десило: да ли је позивалац стао или наставио. Тај лог мери колико би често модел некоме упао у реч, на стварном саобраћају, пре него што му се дозволи да било коме упадне у реч. Лог чува сваку процену, сигурну или не, па касније можемо померати праг у оба смера.
Када се лог слаже с оним што су позиваоци радили, агента пребацујемо на цоммит. Бројке у овој белешци потичу из тог лога.
Где слушамо најпажљивије
- Листе и бројеви. Позивалац који чита број картице или адресу звучи завршено између група. То су реплике које прве узоркујемо кад подешавамо.
- Бучне линије. Кашаљ или глас у позадини може отворити реплику. Агент препознаје да нема на шта да одговори и ћути.
Пратећа белешка, Слушање док говоримо, описује шта агент ради са каналом позиваоца док говори: рани старт, прекиде и кратка потврђивања.