Что внутри голосового ИИ-агента Dialogist

Транскрипция занимает 0,5 мс после решения, потому что распознавание идёт потоком, пока звонящий говорит, и делает пробный проход во время паузы. При раннем старте языковая модель начинает работу с этого пробного текста внутри паузы, поэтому после решения остаётся 3 мс её работы; в стандартном режиме все 111 мс приходятся на время после него. В нагрузочном тесте ранний запрос уходил до решения в 98% ответов, в среднем на 225 мс раньше при 50 разговорах и на 508 мс раньше при 128. Если звонящий продолжает говорить, агент отбрасывает подготовленный ответ и отвечает на всю фразу.

При 100 одновременных звонках на Server Unit тот же шаг занимает около 0,4 с в стандартном режиме и 0,25 с при раннем старте. Полная картина приведена в заметке о Server Unit. Server Unit под нагрузкой

• выигрыш 89–235 мс

  Ранний старт

  Языковая модель начинает работу с распознанным текстом, пока агент ещё дожидается конца паузы. Выигрыш растёт с нагрузкой: 89 мс при одном звонке, 189 мс при 96 разговорах, 235 мс при 128.

• 280 → 40 мс

  Тишина убрана из речи

  Синтезированные предложения начинаются с тишины; медиана в нашем кэше 280 мс. Агент обрезает её до 40 мс при воспроизведении клипа, и на линии ответ в одиночном звонке пошёл примерно на 200 мс раньше. Кэш хранит оригинал.

• выигрыш ≈ 0,3 с

  Модель конца реплики

  После паузы в 192 мс небольшая модель по интонации определяет, закончена ли мысль. В реальных звонках она закрыла 87% реплик звонящих раньше срока и выждала 96% пауз посреди мысли. Сначала её можно запустить в режиме наблюдения, когда она только записывает, что сделала бы.

• 94%

  Голосовой кэш

  Агент воспроизводит с диска фразы, которые уже говорил. Кэш переживает перезапуски, а в нерабочие часы агент перепроверяет кэшированные клипы, распознавая их, и заново генерирует те, что не прошли проверку.

• Первое предложение идёт вне очереди

  Под нагрузкой начало ответа в одном звонке никогда не ждёт за хвостом ответа в другом. Пока играет первое предложение, агент синтезирует следующие.

• Одни часы на все звонки

  Медиа всех звонков работает на одном общем такте в 20 мс вместо таймера на каждый звонок.

  Voicecore: медиабэкенд на Rust (EN)
• 69 → 0,7 мкс

  Более дешёвые аудиокадры

  Передача кадра между телефонным стеком и агентом занимает меньше микросекунды вместо десятков.

  Voicecore: медиабэкенд на Rust (EN)

До и после: тот же стенд, 20-минутный одиночный звонок и 50 разговоров, агент для подбора персонала. Кэш: 64 192 фразы в нагрузочном тесте. Передача кадра: замер отдельно, на телефонной библиотеке.

• Перебивания, которые что-то значат

  Звонящий может говорить поверх агента, и агент замолкает. Перебивание он определяет по тексту или по звуку. У акустического режима свой порог, и ему нужна непрерывная речь, поэтому клавиатура, хлопнувшая дверь или кашель агента не прерывают. Короткий фрагмент с низкой уверенностью поверх собственного голоса агент игнорирует: так выглядит эхо.

• Голос отступает

  Когда звонящий начинает говорить, голос агента затихает и глохнет: громкость падает, высоких частот становится меньше. Если звонящий говорит что-то существенное, агент замолкает. После «угу» или кашля он возвращается: с ближайшей границы слога, с начала предложения или с того же места. Настраивается для каждого агента.

• «Угу» в паузах

  Во время длинной реплики звонящего агент вставляет короткие подтверждения своим голосом. Это заранее записанные клипы, которые человек прослушал и одобрил. Они воспроизводятся в паузах: с заданной вероятностью, с минимальным интервалом, с ограничением на реплику и без повторов, и никогда, если модель конца реплики считает, что звонящий закончил.

• Говорит, когда не уверен

  Уверенность распознавания попадает в промпт агента. Агент видит, что транскрипция ненадёжна, и просит звонящего повторить, а не гадает имя или номер.

• Тишина без неловкости

  Повторный вопрос, затем прощание; время отсчитывается от настоящего конца воспроизведения, а не от конца синтеза.

• Комната вокруг голоса

  Необязательный фон офиса или переговорной, подмешанный под голос с первой секунды звонка.

• Агент генерирует приветствие во время задержки на дозвон и передаёт его потоком, предложение за предложением.
• Широкополосный G.722 там, где его поддерживает другая сторона. Сглаженная регулировка усиления подняла отношение сигнал/шум с 23 до 28,7 дБ на 11 размеченных реальных звонках.
• «Угу» самого агента может вернуться эхом по линии из трубки звонящего. Распознавание убирает его из транскрипции, а агент не включает подтверждения в историю разговора.

Слушает, пока говорит: полная заметка

• Клонирование голоса

  Новый голос по образцу в 10–30 секунд и его расшифровке.

• Словари произношения

  Названия брендов, улиц и профессиональный жаргон произносятся так, как говорите вы, с прослушиванием.

• Один голос на агента

  Из каталога или клонированный, с заданной вами скоростью.

• Потоковый синтез

  Предложение за предложением: следующее готово до того, как закончится первое.

RAGKnowledge Hub

Atlas — наш центр знаний. Вы подключаете агента к одной или нескольким базам знаний, а Atlas возвращает фрагменты, которые отвечают на вопрос.

В варианте on-premise весь стек устанавливается на ваши серверы через Docker, при необходимости офлайн. Server Unit обслуживает 100 одновременных звонков, и мы проверили его нагрузкой до 176% от этого значения. Server Unit под нагрузкой

Server Unit несёт весь голосовой стек до 100 одновременных звонков. Мы повышали нагрузку от одного звонка до 176% номинальной ёмкости и следили за временем ответа, долей обработанных реплик и самими звонками. Затем мы оптимизировали стек под высокую нагрузку и повторили тест: ёмкость на уровне Standard выросла примерно вдвое, а на верхней ступени все звонки соединились и ни один не оборвался.

Измерено на одном Server Unit.

Server Unit под нагрузкой

• ≈ 0,27 ссобственное время агента от последнего слова звонящего до первого звука
• 35 мсот решения, что звонящий закончил, до первого звука, с ранним стартом
• 96%реплик имеют готовый распознанный текст в пределах 10 мс от этого решения
• ≈ 100 мсдо первого звука заново синтезированного предложения (медиана)
• ≈ 1 мсна воспроизведение фразы, которая уже есть в голосовом кэше
• 5–8×быстрее реального времени: так быстро синтезируется голос
• 94%первых фраз берутся из голосового кэша
• 98%ответов запускают языковую модель до конца паузы
• > 99%реплик звонящих получили ответ при 176% номинальной ёмкости
• ≈ 150 мсна быстрый поиск по знаниям на сервере

Готовность распознавания: от 96 до 97% из 58 000 реплик при всех нагрузках. Скорость голоса: медиана от 5,0 до 6,5× на разных уровнях нагрузки, только промахи кэша. Первый звук нового предложения: медиана от 76 до 106 мс на разных уровнях нагрузки.