Server Unit покреће цео гласовни стек за једног клијента: обраду позива, препознавање говора, језички модел и синтезу говора. Свака јединица носи 100 истовремених позива. Пре него што тај број уђе у уговор, треба га тестирати, па смо направили тест оптерећења и извели га двапут.
Желели смо да знамо да ли јединица носи својих називних 100 позива с одговорима који и даље звуче као разговор и како се понаша изнад њих, на 120%, 150% и 176%.
Мерење је рађено на једном Server Unitу, с агентом за регрутовање и симулираним позиваоцима на истој јединици, преко Г.711 А-лаw кроз мерни мост: 22 корака оптерећења у 9 серија, 22.018 одговора, око 129 сати разговора. Оптерећење је дато као удео називног капацитета (100 истовремених позива), а време одговора као индекс, где један позив износи 1,00.
Укратко: средње време одговора остаје у оцену Стандард или боље до називног капацитета, а уз рани старт до око 117%. На 176% сви позиви су се повезали и ниједан није пао. На сваком кораку више од 99% реплика позиваоца добило је одговор, а један круг оптимизације за велико оптерећење удвостручио је оптерећење које јединица носи у оцену Стандард.
Како смо мерили
- Симулирани позиваоци на истој јединици. Сваки разговор су два телефонска позива: агент који се тестира и симулирани позивалац. Двадесет симулираних позивалаца, сваки са сопственим гласом, маниром и расположењем, пита за посао, прави паузе и одговара као људи. Server Unit носи оба краја сваког разговора, па је телефонско оптерећење двоструко веће него што би га створио прави разговор исте величине.
- Реалне зависности. Спољни системи које агент позива одговарају после фиксног, реалног кашњења.
- Један часовник на линији. Мерни мост стоји у аудио путањи. Бележи тренутак када се заврши изговорена фраза позиваоца и тренутак када стигне први звук агентовог одговора. Време одговора је тај интервал. Обухвата све унутар јединице, укључујући паузу за крај реплике и пренос звука.
- Кораци. Оптерећење расте по корацима, од једног разговора до 176% називног капацитета. Сваки корак се два минута стабилизује, а затим се мери најмање пет. Корак с једним разговором траје двадесет.
- Корак мора да заслужи место. Корак се рачуна само ако прође осам провера: стабилно стање (друга половина није спорија од прве), неуспеле реплике, исправност мерног моста, преклапање говора, поклапање догађаја моста са агентовим логом, изгубљена телеметрија, одбијени позиви и ограничавачи ресурса.
- Два режима. Агента смо мерили у стандардном режиму и с раним стартом, у којем језички модел почиње на препознатом тексту пре него што је реплика формално затворена.
Шта се десило
Појасеви оптерећења
Оцене описују како одговор делује позиваоцу. Свака оцена се завршава на одређеном индексу времена одговора.
| Појас оптерећења | Оптерећење, % називног капацитета | Оцена одговора | Индекс до | Шта позивалац примећује |
|---|---|---|---|---|
| Ниско | до 42 | Платинум | 1,22 | Одговори стижу брзином блиском једном позиву |
| Умерено | 42–65 | Голд | 1,49 | Брз одговор |
| Високо | 65–100 | Стандард | 2,03 | Природна пауза; овај појас се завршава на називном капацитету |
| Врхунац | 100–137 | Минимум | 2,71 | Приметна пауза, и даље разговор |
| Налет | 137–176 | Стретцх | — | Дужа пауза, а сви позиви су и даље повезани |
Уз рани старт сваки појас се продужава: Платинум до око 57% називног капацитета, Голд до око 78%, Стандард до око 117%. Рани старт смо мерили до 128% називног капацитета.
Називни капацитет је испуњен
На 100 истовремених позива средње време одговора је око двоструко веће од вредности за један позив (индекс 2,02), а одговори остају у оцени Стандард. Уз рани старт јединица држи Стандард до око 117% називног капацитета.
| Оптерећење, % називног капацитета | Индекс одговора | Уз рани старт | 95. перцентил / медијана | Удео пропусности |
|---|---|---|---|---|
| 1 позив | 1,00 | 0,88 | 1,73 | 0,01 |
| 24 | 1,07 | — | 1,61 | 0,38 |
| 36 | 1,15 | — | 1,61 | 0,55 |
| 50 | 1,30 | 1,14 | 1,69 | 0,74 |
| 64 | 1,48 | — | 1,72 | 0,94 |
| 80 | 1,75 | — | 1,70 | 1,00 |
| 96 | 1,97 | 1,71 | 1,62 | 0,98 |
| 112 | 2,20 | — | 1,69 | 0,94 |
| 128 | 2,52 | 2,21 | 1,68 | 0,99 |
| 152 | 3,02 | — | 1,60 | 0,91 |
| 176 | 3,34 | — | 1,71 | 0,81 |
Време одговора расте спорије од оптерећења
Криву сажимамо једним бројем, еластичношћу оптерећења: за колико процената расте време одговора на сваки проценат додатног оптерећења.
| Опсег оптерећења, % називног капацитета | Еластичност | Време одговора на +10% оптерећења |
|---|---|---|
| 24–64 | 0,33 | око 3% |
| 64–128 | 0,77 | око 8% |
| 128–176 | 0,88 | око 9% |
Еластичност остаје испод 1 све до 176%, а крива нема преломну тачку на којој скреће навише. Клијент који ради 20% изнад називног капацитета добија мерљиво дужу паузу на систему који и даље ради.
Реп остаје пропорционалан
Медијана одговора и одговор на 95. перцентилу одржавају исти однос на сваком кораку, од једног позива до 176%:
Одговор на 95. перцентилу је око 1,6 до 1,7 пута већи од медијане на сваком кораку оптерећења.
Спори одговори расту заједно с осталима, па клијент који зна уобичајену паузу може да процени и најгору.
Пропусност се држи
Број одговора у секунди расте с оптерећењем, достиже врхунац на око 80% називног капацитета и остаје у оквиру 6% тог врхунца од 64% до 128% тог капацитета. На 176% јединица и даље обрађује око 80% своје вршне пропусности.
Позиви и медијски ток
- Одговорене реплике. На сваком кораку више од 99% реплика позиваоца добило је одговор.
- Медијски ток. Мерна линија није изгубила ниједан РТП пакет ни на једном кораку.
- Прихват позива. На 176% називног капацитета истовремено је било успостављено 352 SIP позива. Сви су се повезали и ниједан није пао.
- Модели. Ред језичког модела и ред синтезе говора остали су празни на сваком кораку.
Први и други круг
Извели смо тест, оптимизовали стек за велико оптерећење и поново извели тест. Оптимизација је обухватила медијску путању, начин на који се детекција гласа распоређује по позивима, обраду тишине у синтетизованом говору и тренутак у којем се покреће језички модел.
| Мера | Први круг | Други круг |
|---|---|---|
| Капацитет у оцени Стандард | око пола називног капацитета | називни капацитет |
| Капацитет у оцени Голд | око 36% називног капацитета | око 65% називног капацитета |
| Време одговора, један позив | основна вредност | 22% ниже |
| Време одговора на пола називног капацитета | основна вредност | 34% ниже |
| Вршна пропусност | основна вредност | скоро двострука |
Други круг је достигао називних 100 позива, па је број у техничком листу измерен. Страница Технологије показује где тест оптерећења стоји у стеку. У тексту Voicecore (на енглеском) описујемо следећи корак у обради звука: језгро написано у Русту.
Поставка теста
Мерено преко Г.711 на пробној телефонској линији, с двадесет симулираних позивалаца и агентом за регрутовање; 94% првих фраза долазило је из гласовног кеша.