Демо — это один звонок в тихой комнате по сценарию, который выбрал поставщик. Ваш агент примет тысячи звонков по шумным линиям от людей, которые перебивают, отвечают одним словом и передумывают. Задайте эти двенадцать вопросов до подписания договора. Поставщик, который отвечает на них цифрами и говорит, на чём каждая цифра измерена, проделал работу.
К каждому вопросу ниже сказано, почему он важен, как звучит хороший ответ и как отвечаем мы. В конце приведён простой список, который можно вставить в запрос предложений (RFP).
Через сколько агент отвечает и что входит в это число?
Почему это важно. Поздний ответ звонящий замечает первым. Он повторяется, перебивает ответ или решает, что говорит с машиной.
Хороший ответ называет число, говорит, где запускается и где останавливается секундомер, и входит ли в него телефонная сеть.
Наш ответ. От последнего слова звонящего до первого звука агента самому агенту нужно около четверти секунды: 232 мс, чтобы решить, что звонящий закончил, и ещё 35 мс до первого звука. См. «Технологии».
Что происходит с этим числом под нагрузкой?
Почему это важно. Время ответа на одном звонке на пустом сервере мало что говорит о загруженном утре понедельника.
Хороший ответ опирается на нагрузочный тест: сколько звонков несёт сервер, как меняется время ответа с ростом нагрузки и что происходит за пределами номинальной ёмкости.
Наш ответ. Server Unit несёт 100 одновременных звонков. Мы проверили его нагрузочным тестом до 176% этой цифры. Время ответа растёт медленнее нагрузки на всём диапазоне, а на верхней ступени все звонки соединились и ни один не оборвался. См. Server Unit под нагрузкой.
Как агент понимает, что звонящий закончил?
Почему это важно. Таймер тишины либо перебивает человека посреди номера, либо опаздывает с каждым ответом.
Хороший ответ описывает решение, которое учитывает не только тишину, но и то, как закончилась фраза, и подкреплён цифрами с реальных звонков.
Наш ответ. После короткой паузы модель по интонации судит, закончена ли мысль. На реальных звонках она закрыла 87% реплик звонящего досрочно и сэкономила в среднем около 0,3 с на реплику. См. Как понять, что звонящий закончил.
Что происходит, когда звонящий перебивает?
Почему это важно. По телефону люди говорят одновременно. Агент, которого нельзя перебить, похож на запись, а тот, кто замолкает от каждого кашля, кажется сломанным.
Хороший ответ отличает настоящее перебивание от кашля, клавиатуры или собственного эха агента и говорит, что агент делает дальше.
Наш ответ. Агент отличает перебивание от шума, приглушает голос вместо того, чтобы замолчать на полуслове, и помнит, чего звонящий не услышал. См. Слушать во время речи.
Насколько хорошо он понимает мой язык и на каком аудио это измерено?
Почему это важно. Цифра на студийном аудио мало говорит о телефонной линии, а число языков ничего не говорит о том, насколько хорошо слышен каждый из них.
Хороший ответ даёт показатель качества по каждому языку, измеренный на аудио телефонного качества.
Наш ответ. Наше распознавание понимает 48 языков, и у каждого есть оценка в телефонном качестве. 46 из 48 имеют оценку A+ и выше. См. «Языки».
Как он справляется с ответами из одного слова, именами и числами?
Почему это важно. Большая часть того, что звонящий говорит агенту, коротка: «да», «четверг», почтовый индекс. Короткие ответы распознаются хуже всего, а ошибочное «да» превращается в неверную запись.
Хороший ответ содержит цифры именно для ответов из одного-трёх слов и план для имён и цифр.
Наш ответ. У Oasis Speech есть отдельный путь для коротких ответов, и он сократил ошибки на ответах из одного слова на 49%. Имена, числа и суммы агент зачитывает звонящему, прежде чем записать. См. Самые короткие ответы распознать сложнее всего.
Где работают модели и уходит ли звук звонка наружу?
Почему это важно. Каждый сторонний ИИ-сервис на пути звонка — ещё один обработчик голосов ваших клиентов.
Хороший ответ называет, где работает каждая модель, и предлагает вариант развёртывания, при котором всё остаётся внутри вашей сети.
Наш ответ. Все модели наши, и мы запускаем их: на наших серверах в ЕС, в региональном кластере или на ваших серверах, при необходимости изолированных от интернета. Ни звук, ни текст звонков не уходят стороннему ИИ-провайдеру. См. Доверие и данные и Enterprise.
Как проверяют изменение, прежде чем его услышит звонящий?
Почему это важно. Правка промпта, которая чинит один звонок, может сломать десять других, и узнать об этом лучше раньше ваших клиентов.
Хороший ответ описывает имитацию звонящих, метод оценки и способ сравнить две версии агента.
Наш ответ. Каждого агента можно отрепетировать в Polygon: имитируемые звонящие со своими фактами, восемь оцениваемых критериев, жёсткие пороги и сравнение двух версий реплика за репликой. См. Как мы оцениваем разговор.
Можете ли вы оценить мои реальные звонки, а не только тестовые?
Почему это важно. Имитации — это начало. Реальные звонки прошлого месяца — вот проверка, которая считается.
Хороший ответ — да, и для реальных, и для имитированных разговоров применяется одна и та же оценка.
Наш ответ. Polygon импортирует расшифровки реальных звонков и оценивает их по той же шкале и тем же проверкам, так что можно понять, лучше ли новая версия справляется со звонками прошлого месяца. См. Как мы оцениваем разговор.
Что агент может делать в моих системах и кто это решает?
Почему это важно. Агент, который пишет в вашу CRM, меняет ваши записи так же, как сотрудник.
Хороший ответ показывает права для каждого агента, области чтения и записи и то, что происходит до действия агента.
Наш ответ. Инструменты вы объявляете для каждого агента, области чтения и записи каждого коннектора выбираете сами, а ответ, подготовленный заранее, может только читать: он не вызывает ни одного инструмента, пока реплика не подтверждена. См. Доверие и данные.
Что происходит с ценой, когда объём звонков удваивается?
Почему это важно. Поминутная оплата превращает напряжённый месяц в проблему бюджета.
Хороший ответ называет цену, которую можно узнать до начала месяца.
Наш ответ. Мы берём фиксированную цену за агента, как зарплату. Минуты агента не тарифицируются, телефония оплачивается отдельно. См. «Тарифы».
Можно ли поговорить с ним до подписания договора?
Почему это важно. Несколько минут разговора с агентом показывают о его поведении больше, чем час слайдов.
Хороший ответ — живой агент, с которым можно поговорить сейчас, без встречи.
Наш ответ. Поговорите с агентом прямо в браузере через микрофон, прямо сейчас: на нашей главной странице есть кнопка «Попробовать вживую». Проверка собственного агента в браузере ничего не стоит.
Возьмите список с собой
Двенадцать вопросов простым текстом, для вашего RFP или следующего разговора с поставщиком:
- Через сколько агент отвечает и что входит в это число?
- Что происходит с этим числом под нагрузкой?
- Как агент понимает, что звонящий закончил?
- Что происходит, когда звонящий перебивает?
- Насколько хорошо он понимает мой язык и на каком аудио это измерено?
- Как он справляется с ответами из одного слова, именами и числами?
- Где работают модели и уходит ли звук звонка наружу?
- Как проверяют изменение, прежде чем его услышит звонящий?
- Можете ли вы оценить мои реальные звонки, а не только тестовые?
- Что агент может делать в моих системах и кто это решает?
- Что происходит с ценой, когда объём звонков удваивается?
- Можно ли поговорить с ним до подписания договора?