Люди редко ждут тишины, прежде чем ответить. Они слышат, как фраза закрывается: тон падает, последнее слово ложится на место, и ответ начинается в течение доли секунды.
Сначала мы написали эту заметку по одному звонку. Эта версия опирается на множество звонков. Настоящие звонки: 233 звонка и 1468 реплик звонящих за четыре недели. Стенд нагрузочного тестирования: 97 517 реплик имитируемых звонящих на каждом уровне нагрузки. Агент записывает каждую оценку модели вместе с тем, что произошло дальше.
| Показатель | Значение |
|---|---|
| Реплик звонящих за этими цифрами, настоящие звонки и нагрузочный тест | ≈ 99 000 |
| Реплик в настоящих звонках, закрытых моделью раньше срока | 87% |
| Из них закрыто с первого взгляда модели | 95% |
| Возвращённое время на реплику звонящего в настоящих звонках, в среднем | ≈ 0,3 с |
| Пауз посреди мысли, которые модель переждала | 96% |
Компромисс таймера тишины
Голосовому агенту, который слушает только тишину, приходится выбирать из двух плохих вариантов. Если он считает концом реплики любую паузу, он перебивает людей, которые остановились подумать: «Мой номер заказа… минутку… 4417». Если он ждёт достаточно долго, чтобы быть уверенным, каждый ответ начинается с опозданием, и весь звонок кажется вялым. Один фиксированный таймер не может быть прав в обоих случаях: короткая пауза после «Алло?» и короткая пауза после «Мой номер заказа» звучат для него одинаково.
Слушать, как заканчивается фраза
Наш агент решает не по одной тишине. После короткой паузы, по умолчанию 192 мс, он задаёт небольшой модели другой вопрос: по интонации только что сказанного, закончена ли мысль?
- Если модель уверена, реплика закрывается сразу и начинается ответ. Её вердикт применяется на следующем 32-миллисекундном кадре аудио.
- Если не уверена, агент продолжает слушать и спрашивает снова чуть позже.
- Если звонящий замолчал, таймер тишины всё равно закрывает реплику, так что никто не остаётся в ожидании.
Модель закрывает большинство реплик, а таймер остаётся страховкой.
В настоящих звонках
За четыре недели, 233 настоящих звонка и 1468 реплик звонящих:
- Модель закрыла 87% реплик звонящих раньше, чем это сделал бы таймер тишины.
- 95% из них она закрыла с первого взгляда, на первой паузе, о которой её спросили.
- Закрывая реплику, модель была уверена: медианная уверенность составила 0,977, а девять закрытий из десяти шли выше 0,91.
- В среднем по всем репликам звонящих, включая те, что закрыл таймер, агент отвечал примерно на 0,3 с раньше (292 мс).
В настоящих звонках модель закрыла 87% реплик звонящих раньше таймера тишины, и агент отвечал примерно на 0,3 с раньше на каждую реплику.
Выигрыш зависит от того, насколько терпеливым настроен агент. У каждого агента две настройки: пауза, после которой модель впервые получает вопрос, и стоящий за ней таймер тишины. Терпеливый агент, для звонящих, которые думают вслух, ждёт дольше, и тогда модель экономит больше, потому что таймер, который она опережает, длиннее.
| Настройка: первый взгляд / таймер | Реплик звонящих | Закрыто раньше | Выигрыш на раннем закрытии |
|---|---|---|---|
| 192 / 512 мс (по умолчанию) | 1048 | 88% | 288 мс |
| 320 / 800 мс | 274 | 91% | 448 мс |
| 320 / 928 мс (самый терпеливый) | 144 | 76% | 576 мс |
Модель даёт людям подумать
Модель должна также знать, когда не отвечать.
В 157 репликах в настоящих звонках звонящий делал паузу посреди мысли, а затем продолжал. В 151 из них, то есть в 96%, модель решала, что мысль не закончена, и ждала. Там, где звонящий продолжал говорить, медианная уверенность модели в том, что он закончил, составляла 0,015, то есть далеко от ошибки.
Модель отличает эти две ситуации только по звуку. Падающая, закрывающая интонация и повисшая, незаконченная несут разную информацию, и модель обучена слышать эту разницу.
Под нагрузкой
На стенде нагрузочного тестирования имитируемые звонящие вели разговоры с агентом-рекрутером на каждом уровне нагрузки вплоть до 176% от номинальной ёмкости Server Unit. По 97 517 репликам звонящих:
- модель закрыла 88% раньше срока;
- 94% из них она закрыла с первого взгляда;
- каждое раннее закрытие экономило 0,45 с по медиане при терпеливой настройке, использованной на стенде (320 / 800 мс).
Эти цифры охватывают все уровни нагрузки теста вместе, от одного звонка до 176% от номинальной ёмкости.
Сначала наблюдать, потом включать
У модели конца реплики для каждого агента три режима: выключена, наблюдение и фиксация.
В режиме наблюдения она ничего не меняет. Она записывает каждое суждение, которое вынесла бы, вместе с тем, что произошло дальше: замолчал звонящий или продолжил. Эта запись измеряет, как часто модель перебила бы человека, на настоящем трафике, ещё до того, как ей разрешено кого-либо перебивать. В журнале хранятся все суждения, уверенные и нет, поэтому позже мы можем сдвинуть порог в любую сторону.
Когда журнал согласуется с тем, что делали звонящие, мы переводим агента в режим фиксации. Цифры в этой заметке взяты из такого журнала.
Где мы слушаем внимательнее всего
- Списки и числа. Звонящий, который называет номер карты или адрес, между группами звучит так, будто закончил. Эти реплики мы выбираем в первую очередь, когда настраиваем модель.
- Шумные линии. Кашель или посторонний голос могут открыть реплику. Агент распознаёт, что отвечать нечего, и молчит.
Сопутствующая заметка Слушать, пока говоришь рассказывает, что агент делает с каналом звонящего, пока сам говорит: ранний старт, перебивания и короткие подтверждения.