---
title: "Kako ocenjujemo razgovor"
description: "Polygon, naša platforma za testiranje, ocenjuje glasovnog agenta na celim razgovorima: simulirani pozivaoci, osam kriterijuma, stroge kapije i sonde ponašanja."
canonical: "https://dialogist.cc/sr/research/how-we-grade-a-conversation/"
locale: "sr-Latn-RS"
updatedAt: "2026-10-21"
---

# Kako ocenjujemo razgovor između glasovnog agenta i simuliranog pozivaoca

Istraživanja · 2026-10-21 · Dialogist team

> Polygon, naša platforma za testiranje, ocenjuje glasovnog agenta na celim razgovorima: simulirani pozivaoci, osam kriterijuma, stroge kapije i sonde ponašanja.

Polygon je platforma za testiranje iza stavke „Simulacija dijaloga“ u [Pro planu](/sr/pricing/). Gradi simuliranog pozivaoca, ocenjuje svaki razgovor po osam kriterijuma, primenjuje stroge kapije, pokreće sonde ponašanja i nalazi prvu repliku u kojoj se dve verzije agenta razilaze. [Blok o Polygonu na stranici Tehnologije](/sr/technology/#polygon) daje kratku verziju.

Ovo je beleška o metodi. Opisuje protokol i ne navodi izmerene rezultate. Metoda je opisana u internim radovima, a rubrika je verzionisana (v1 i v2).

Ukratko: osam ocenjivanih kriterijuma, ponderisanih za telefonskog agenta; tri stroge kapije koje obaraju razgovor bez obzira na ocenu; šest tipova simuliranih pozivalaca, svaki s fiksnim skupom činjenica; četiri nivoa analize prompta, od jeftinih pravila do sudije. Šum prepoznavanja i uzorkovanje koriste fiksna semena, pa se neuspeo razgovor reprodukuje repliku po repliku.

## Problem

Glasovni agent može tačno da odgovori na svako pojedinačno pitanje, a da ipak omane na pozivu. Zaboravi cilj, zahvali se pozivaocu i spusti slušalicu, obeća nešto što ne može da ispuni ili četiri puta ponovi „Možete li da ponovite?“. Ocenjivanje odgovor po odgovor ništa od toga ne vidi, zato ocenjujemo ceo razgovor.

Drugi problem je poređenje. Kada promenimo prompt, model ili parametar uzorkovanja, moramo da znamo da li je agent postao bolji, na kom tipu pozivaoca i u kojoj replici se ponašanje prvi put promenilo. To jedan prosek ne može da kaže.

## Cevovod

`scenario → simulirani pozivalac → razgovor sa zamenama za alate i šumom prepoznavanja → determinističke provere → sudija → sonde ponašanja → poređenje`

Svaka faza opisana je u nastavku. Faze držimo odvojeno da bi se rezultat mogao pratiti do faze koja ga je proizvela.

## Simulirani pozivaoci sa osnovnom istinom

Agent se testira prema modelu koji igra personu. Persona ima:

- **Tip:** saradljiv, zauzet, nepoverljiv, zbunjen, agresivan ili razgovorljiv.
- **Željeni ishod:** uspeh, odbijanje, ponovni poziv ili prebacivanje.
- **Težinu:** od 1 do 5.
- **Osnovnu istinu:** činjenice koje pozivalac zna. Sudija po njoj odlučuje da li je agent postigao cilj i da li je išta izmislio.

Polygon generiše pozivaoce iz agentovog prompta, po jednu personu po zahtevu, tako da jedan neuspeh ne povlači celu seriju. Svaki pozivalac vezan je za verziju prompta iz koje je nastao. Kada se prompt promeni, Polygon pozivaoce označi kao zastarele i ponovo ih generiše.

Pozivaoci govore kao pozivaoci na telefonu: kratkim rečenicama, upadicama, skretanjima s teme.

## Šum prepoznavanja, namerno

Agent koji je besprekoran na čistom tekstu može da pukne na onome što prepoznavanje isporuči na pravom pozivu. Polygon izobličava tekst pozivaoca pre nego što ga agent vidi, jednim regulatorom intenziteta od 0 do 1:

_Izobličenja koja Polygon primenjuje na tekst pozivaoca._

| Izobličenje                   | Primer                                     |
| ----------------------------- | ------------------------------------------ |
| Izostavljene reči             | reč nestaje                                |
| Brojevi čitani cifru po cifru | „pedeset“ postaje „pet nula“               |
| Reči koje slično zvuče        | u ruskom „код“ (kod) postaje „кот“ (mačak) |
| Uzvici na početku             | „ovaj“, „hm“, „halo?“                      |

Polygon seje izobličenje iz razgovora i broja replike, pa se razgovor koji je pao može reprodukovati repliku po repliku.

## Zamene za alate sa greškama

Agenti pozivaju alate: kalendar, CRM, prebacivanje poziva. Polygon ih zamenjuje stubovima koji vraćaju fiksne odgovore, odgovore po šablonu ili po pravilima, ili čuvaju stanje između poziva. Stub može dodati latenciju i ubaciti greške, pa se agent testira i prema sporom ili neispravnom CRM-u, a ne samo prema ispravnom.

## Rubrika i ukupna ocena

Model sudija čita ceo razgovor, osnovnu istinu pozivaoca i trag poziva alata. Ocenjuje osam kriterijuma od 1 do 5 i za svaki citira dokaz iz transkripta.

_Osam kriterijuma sudije i njihove težine u konačnoj oceni._

| Kriterijum                | Težina |
| ------------------------- | -----: |
| Ispunjenje cilja          |     25 |
| Poštovanje uputstava      |     15 |
| Kvalitet korišćenja alata |     15 |
| Činjenična tačnost        |     10 |
| Kvalitet dijaloga         |     10 |
| Otpornost                 |     10 |
| Usklađenost s bezbednošću |     10 |
| Persona i ton             |      5 |

Ukupna ocena je ponderisani prosek normalizovanih ocena, od 0 do 100: `composite = Σ weight × (score − 1) / 4`. Same jedinice daju 0, same petice 100, same trojke 50. Razgovor prolazi od 75 naviše, a upozorenje dobija od 50. Težine kažu čemu telefonski agent služi: postizanje cilja vredi pet puta više od tona.

Četiri pravila čuvaju poštenje ocene:

- **Ocena koja nedostaje je minimum,** nikad prosek. Nepotpuna procena ne može da laska agentu.
- **Nečitljiva ocena nije jedinica.** Kada sudija vrati ocenu u obliku koji Polygon ne može da pročita, ona se računa kao „neocenjeno“ i ništa ne pokreće, pa razgovor ne može da padne slučajno. Rezultat nosi oznaku, tako da niko ne zameni delimičnu ukupnu ocenu za potpunu.
- **Ponavljanja uzimaju medijanu.** Sudija može da radi k puta; Polygon koristi medijanu svakog kriterijuma, a za parno k usrednjava dve srednje vrednosti.
- **Ocene se porede samo unutar jedne verzije rubrike.** Promena težina ili kriterijuma znači novu verziju, a ekran za poređenje odbija da stavi dve verzije na isti grafikon.

## Stroge kapije

Neke greške se ne smeju izgubiti u proseku. Bez obzira na ukupnu ocenu, presuda je _pad_ kada:

- se zabranjena fraza pojavi u agentovom govoru;
- kriterijum bezbednosti dobije 1 (i bio je ocenjen);
- je poziv alata s neispravnim argumentima proizveo odgovor pozivaocu. Rubrika v2 dodala je ovu kapiju; razgovori iz v1 zadržavaju originalnu presudu.

## Sonde ponašanja

Rubrika kaže koliko je razgovor u celini bio dobar. Sonda postavlja jedno pitanje na koje se odgovara sa da ili ne o jednom ponašanju: da li je agent ponovo pitao posle čudnog odgovora, da li je dao razlog za odbijanje, da li je dao obećanje koje nije mogao da ispuni.

- **Odgovori:** _da_, _ne_ ili _nije primenljivo_. Polygon izostavlja odgovore „nije primenljivo“ iz imenioca i nikad ih ne računa kao nulu.
- **Polaritet:** za poželjno ponašanje dobro je _da_, za zaštitnu ogradu dobro je _ne_. Prijavljeni broj je usklađenost, udeo primenljivih razgovora u kojima je agent uradio pravu stvar.
- **Poseban prolaz:** sonde rade sa sopstvenim promptom i ne mogu da promene ukupnu ocenu ni presudu. Traženje kalibrisane ocene od 1 do 5 i binarne činjenice u istom pozivu usidruje oba odgovora.
- **Intervali:** svaka stopa nosi Wilsonov 95% interval, pa se „3 od 4“ prikazuje kao širok raspon oko 75%.
- **Fiksna formulacija:** Polygon poredi sondu između izvršavanja samo dok je njena formulacija nepromenjena (proverava heš sadržaja), pa preformulisano pitanje ne može neprimetno da pomeri trend.
- **Jeftino za dodavanje:** sonde dodajemo slobodno, kao hipoteze o ponašanju. One koje se pokažu važnima prelaze u rubriku ili postaju kapija.

## Poređenje dve verzije

Ekran za poređenje prima dve ili više konfiguracija (model, verziju prompta, profil parametara) i prikazuje:

- **Karton ocena** po konfiguraciji.
- **Matricu scenarija,** poređanu po rasponu: razlika između najbolje i najgore konfiguracije na tom scenariju. Scenariji u kojima se verzije najviše razilaze idu prvi.
- **Tačku razilaženja:** prvu repliku u kojoj se dva razgovora razdvajaju. Polygon poravnava razgovore repliku po repliku i uzima prvu repliku u kojoj se razlikuju pozivi alata, u kojoj jedan završava ili prebacuje poziv a drugi ne, u kojoj se formulacije udaljavaju (Žakarova sličnost bigrama reči ispod 0,5) ili u kojoj se govornici razlikuju.
- **Napisanu analizu** sistematskih razlika, nastalu iz determinističkog rezimea kartona ocena.

Kada jedna konfiguracija nema rezultat za scenario, Polygon scenario označava kao _neuporediv_ umesto da ga popuni nulama.

## Čitanje prompta pre izvršavanja

Polygon čita agentov prompt u četiri nivoa, od najjeftinijeg: determinističkih pravila, zatim iznenađenja (surprisal) svake fraze pod jezičkim modelom, zatim embedinga, pa sudije. Izlaz je ocena od 0 do 1 po osi, gde je veća gora, s istaknutim mestima u uređivaču.

_Ose koje Polygon ocenjuje, od 0 do 1; veća ocena je gora._

| Osa              | Šta hvata                                                                |
| ---------------- | ------------------------------------------------------------------------ |
| Preopterećenje   | previše istovremenih ograničenja                                         |
| Rasipanje pažnje | ključna pravila izgubljena usred dugog prompta; srodna pravila razbacana |
| Sukob            | pravila koja se međusobno isključuju ili slabe                           |
| Dvosmislenost    | formulacije sa više od jednog čitanja                                    |
| Ponavljanje      | isto pravilo izrečeno na nekoliko načina                                 |

Prompt može biti krhak a ipak proći sve testove, i ova provera nalazi slaba mesta pre nego što na njih naiđe pozivalac.

## Pretrage parametara i petlje

- **Pretrage** menjaju jedan po jedan parametar ili prolaze punu mrežu ili slučajne tačke, nad kratkim skupom scenarija. Svaka tačka postaje nepromenljiva verzija profila. Pretraga može da stane ranije ako je prva tačka već ispod praga, a odbija da pokrene tačku koja bi premašila ograničenje tokena. Rang-lista sortira po srednjoj oceni, zatim po stabilnosti, zatim po brzini.
- **Detekcija petlje** rano završava razgovor kada se dva poslednja agentova odgovora poklapaju 90% ili više, i to označava. Odgovor od jedne reči poput „Da.“ računa se, što provera samo po bigramima ne bi uhvatila.

## Pravi pozivi, onako kako su se desili

Polygon može da uveze produkcione transkripte i oceni ih bez ponovnog izvođenja. Pravi razgovor nema simuliranog pozivaoca ni osnovne istine, pa provere koje od toga zavise postaju _neprimenljive_. Ostalo (determinističke metrike, sudija nad transkriptom, sonde) radi kao za simulirani razgovor. Rezultat je običan prolaz koji može stajati u istom poređenju sa sintetičkim, i kaže nam da li novi prompt radi bolje na pozivima iz prošlog meseca.

## Čitanje rezultata

- **Podešavanja sudije.** Sudija radi na temperaturi blizu nule sa strukturisanim izlazom. Ponavljanja s medijanom čine ga stabilnijim.
- **Kriterijumi iza ukupne ocene.** Ukupna ocena je jedan broj za rangiranje; osam kriterijuma iza nje kaže šta treba popraviti.
- **Realistični pozivaoci.** Polygon generiše pozivaoce iz agentovog prompta, a mi ih povremeno ručno uzorkujemo da ostanu realistični.
- **Pravi pozivi.** Uvoz produkcionih transkripta testira istog agenta prema pozivima koje je imao.

Tags: Research, Evaluacija, Testiranje

---

Contact: hello@dialogist.cc