---
title: "Kako ocjenjujemo razgovor"
description: "Polygon, naš testni poligon, ocjenjuje glasovnog agenta na cijelim razgovorima: simulirani pozivaoci, osam kriterija s težinama, tvrde kapije i probe."
canonical: "https://dialogist.cc/bs/research/how-we-grade-a-conversation/"
locale: "bs"
updatedAt: "2026-10-21"
---

# Kako ocjenjujemo razgovor između glasovnog agenta i simuliranog pozivaoca

Istraživanja · 2026-10-21 · Dialogist team

> Polygon, naš testni poligon, ocjenjuje glasovnog agenta na cijelim razgovorima: simulirani pozivaoci, osam kriterija s težinama, tvrde kapije i probe.

Polygon je testni poligon iza stavke „Simulacija dijaloga“ u [planu Pro](/bs/pricing/). Gradi simuliranog pozivaoca, ocjenjuje svaki razgovor po osam kriterija, primjenjuje tvrde kapije, pokreće probe ponašanja i nalazi prvu repliku na kojoj se dvije verzije agenta razilaze. [Polygon blok na stranici Tehnologije](/bs/technology/#polygon) daje kratku verziju.

Ovo je bilješka o metodi. Opisuje protokol i ne izvještava o izmjerenim rezultatima. Metoda je opisana u internim radovima, a rubrika je verzionirana (v1 i v2).

Ukratko: osam ocjenjivanih kriterija, ponderisanih za telefonskog agenta; tri tvrde kapije koje obaraju razgovor bez obzira na ocjenu; šest tipova simuliranih pozivalaca, svaki s fiksnim skupom činjenica; četiri nivoa analize prompta, od jeftinih pravila do sudije. Šum prepoznavanja i uzorkovanje koriste fiksna sjemena, pa se neuspješno pokretanje može ponoviti repliku po repliku.

## Problem

Glasovni agent može tačno odgovoriti na svako pojedinačno pitanje, a ipak pasti na pozivu. Zaboravi cilj, zahvali pozivaocu i spusti slušalicu, obeća ono što ne može ispuniti ili četiri puta ponovi „Možete li to ponoviti?“. Ocjenjivanje odgovora jedan po jedan to ne vidi, pa ocjenjujemo cijeli razgovor.

Drugi problem je poređenje. Kad promijenimo prompt, model ili parametar uzorkovanja, treba nam znati je li agent postao bolji, na kojoj vrsti pozivaoca i na kojoj se replici ponašanje prvi put promijenilo. Jedan prosjek to ne može reći.

## Pipeline

`scenarij → simulirani pozivalac → razgovor s lažnim alatima i šumom prepoznavanja → deterministične provjere → sudija → probe ponašanja → poređenje`

Svaka faza je opisana ispod. Faze držimo odvojenim da se rezultat može pratiti do faze koja ga je proizvela.

## Simulirani pozivaoci sa znanim činjenicama

Agent se testira naspram modela koji igra personu. Persona ima:

- **Tip:** saradljiv, zauzet, nepovjerljiv, zbunjen, agresivan ili brbljiv.
- **Željeni ishod:** uspjeh, odbijanje, povratni poziv ili prespajanje.
- **Težinu:** od 1 do 5.
- **Ground truth:** činjenice koje pozivalac zna. Sudija ih koristi da odluči je li agent postigao cilj i je li išta izmislio.

Polygon generiše pozivaoce iz agentovog vlastitog prompta, jednu personu po zahtjevu, pa jedan neuspjeh ne povlači cijelu seriju. Svaki pozivalac je vezan za verziju prompta iz koje je generisan. Kad se prompt promijeni, Polygon pozivaoce označi zastarjelim i generiše ih ponovo.

Pozivaoci govore kao pozivaoci na telefonu: kratke rečenice, upadice, skretanja s teme.

## Namjerni šum prepoznavanja

Agent koji je besprijekoran na čistom tekstu može se slomiti na onome što prepoznavanje isporuči u stvarnom pozivu. Polygon izobličava pozivaočev tekst prije nego ga agent vidi, jednim regulatorom intenziteta od 0 do 1:

_Izobličenja koja Polygon primjenjuje na pozivaočev tekst._

| Izobličenje                   | Primjer                                       |
| ----------------------------- | --------------------------------------------- |
| Izostavljene riječi           | riječ nestane                                 |
| Brojevi čitani cifru po cifru | „pedeset“ postaje „pet nula“                  |
| Riječi koje zvuče slično      | na ruskom „код“ (šifra) postaje „кот“ (mačak) |
| Uzvici na početku             | „ee“, „hmm“, „halo?“                          |

Polygon izobličenje inicijalizira iz razgovora i broja replike, pa se razgovor koji je pao može ponoviti repliku po repliku.

## Lažni alati s greškama

Agenti pozivaju alate: kalendar, CRM, prespajanje. Polygon ih zamjenjuje lažnim alatima koji vraćaju fiksne odgovore, odgovore iz šablona ili odgovore po pravilima, ili pamte stanje između poziva. Lažni alat može dodati latenciju i ubaciti greške, pa se agent testira i naspram sporog ili neispravnog CRM-a, ne samo ispravnog.

## Rubrika i složena ocjena

Model-sudija čita cijeli razgovor, činjenice koje pozivalac zna i trag alata. Ocjenjuje osam kriterija od 1 do 5 i za svaki citira dokaz iz transkripta.

_Osam kriterija sudije i njihove težine u konačnoj ocjeni._

| Kriterij                  | Težina |
| ------------------------- | -----: |
| Ostvarenje cilja          |     25 |
| Poštovanje instrukcija    |     15 |
| Kvalitet upotrebe alata   |     15 |
| Činjeničnost              |     10 |
| Kvalitet dijaloga         |     10 |
| Otpornost                 |     10 |
| Usklađenost sa sigurnošću |     10 |
| Persona i ton             |      5 |

Složena ocjena je ponderisana sredina normaliziranih ocjena, od 0 do 100: `composite = Σ weight × (score − 1) / 4`. Sve jedinice daju 0, sve petice 100, sve trojke 50. Razgovor prolazi od 75 naviše, a upozorenje dobija od 50. Težine kažu čemu telefonski agent služi: ostvarenje cilja vrijedi pet puta više od tona.

Četiri pravila održavaju ocjenu poštenom:

- **Nedostajuća ocjena je minimum,** nikad prosjek. Nepotpuna procjena ne može laskati agentu.
- **Nečitljiva ocjena nije jedinica.** Kad sudija vrati ocjenu u obliku koji Polygon ne može pročitati, ona se računa kao „neocijenjeno“ i ništa ne pokreće, pa ne može greškom oboriti razgovor. Rezultat nosi oznaku, pa niko ne zamijeni djelimičnu složenu ocjenu za potpunu.
- **Ponavljanja uzimaju medijanu.** Sudija se može pokrenuti k puta; Polygon koristi medijanu svakog kriterija, a za paran k uprosječuje dvije srednje vrijednosti.
- **Ocjene se porede samo unutar jedne verzije rubrike.** Promjena težina ili kriterija znači novu verziju, a ekran poređenja odbija da dvije verzije stavi na isti grafikon.

## Tvrde kapije

Neke greške se ne smiju izgubiti u prosjeku. Bez obzira na složenu ocjenu, presuda je _pad_ kada:

- se zabranjena fraza pojavi u agentovom govoru;
- kriterij sigurnosti dobije 1 (i bio je ocijenjen);
- poziv alata s nevažećim argumentima proizvede odgovor pozivaocu. Rubrika v2 je dodala ovu kapiju; razgovori iz v1 zadržavaju svoju izvornu presudu.

## Probe ponašanja

Rubrika kaže koliko je razgovor u cjelini bio dobar. Proba postavlja jedno pitanje s odgovorom da ili ne o jednom ponašanju: je li agent pitao ponovo nakon čudnog odgovora, je li naveo razlog odbijanja, je li dao obećanje koje nije mogao ispuniti.

- **Odgovori:** _da_, _ne_ ili _nije primjenjivo_. Polygon izostavlja odgovore „nije primjenjivo“ iz nazivnika i nikad ih ne računa kao nulu.
- **Polaritet:** za željeno ponašanje _da_ je dobro, za zaštitnu ogradu dobro je _ne_. Prijavljeni broj je usklađenost, udio primjenjivih razgovora u kojima je agent učinio pravu stvar.
- **Zaseban prolaz:** probe se pokreću sa svojim promptom i ne mogu promijeniti složenu ocjenu ni presudu. Traženje kalibrisane ocjene od 1 do 5 i binarne činjenice u istom pozivu usidruje oboje.
- **Intervali:** svaka stopa nosi Wilsonov 95% interval, pa se „3 od 4“ prikazuje kao širok raspon oko 75%.
- **Fiksna formulacija:** Polygon poredi probu kroz pokretanja samo dok joj je formulacija nepromijenjena (provjerava heš sadržaja), pa preformulisano pitanje ne može neprimijećeno pomjeriti trend.
- **Jeftino za dodavanje:** probe dodajemo slobodno, kao hipoteze o ponašanju. One koje se pokažu važnima prelaze u rubriku ili postaju kapija.

## Poređenje dvije verzije

Ekran poređenja prima dvije ili više konfiguracija (model, verziju prompta, profil parametara) i prikazuje:

- **Tabelu rezultata** po konfiguraciji.
- **Matricu scenarija,** poredanu po rasponu: razlika između najbolje i najlošije konfiguracije na tom scenariju. Scenariji na kojima se verzije najviše razilaze dolaze prvi.
- **Tačku razilaženja:** prvu repliku na kojoj se dva razgovora razdvajaju. Polygon poravna razgovore repliku po repliku i uzima prvu repliku na kojoj se razlikuju pozivi alata, na kojoj jedan završava ili prespaja poziv, a drugi ne, na kojoj se formulacije udalje (Jaccardova sličnost bigrama riječi ispod 0,5) ili na kojoj se govornici razlikuju.
- **Pisanu analizu** sistematskih razlika, nastalu iz determinističnog sažetka tabela rezultata.

Kad jedna konfiguracija nema rezultat za scenarij, Polygon scenarij označi kao _neuporediv_ umjesto da ga popuni nulama.

## Čitanje prompta prije pokretanja

Polygon čita agentov prompt u četiri nivoa, od najjeftinijeg: deterministična pravila, zatim iznenađenje svake fraze pod jezičnim modelom, zatim ugrađivanja (embeddings), pa sudija. Izlaz je ocjena od 0 do 1 po osi, pri čemu je veće lošije, s istaknutim dijelovima u uređivaču.

_Ose prompta koje Polygon ocjenjuje, od 0 do 1; viša ocjena je lošija._

| Osa              | Šta otkriva                                                                |
| ---------------- | -------------------------------------------------------------------------- |
| Preopterećenost  | previše istovremenih ograničenja                                           |
| Raspršena pažnja | ključna pravila izgubljena usred dugog prompta; povezana pravila razbacana |
| Sukob            | pravila koja se međusobno isključuju ili slabe                             |
| Dvosmislenost    | formulacije s više od jednog čitanja                                       |
| Redundantnost    | isto pravilo navedeno na više načina                                       |

Prompt može biti krhak, a ipak proći sve testove, i ova provjera nalazi slabe tačke prije nego na njih naiđe pozivalac.

## Pretraga parametara i petlje

- **Sweepovi** mijenjaju jedan parametar odjednom ili pokreću cijelu mrežu ili slučajne tačke nad kratkim skupom scenarija. Svaka tačka postaje nepromjenjiva verzija profila. Sweep se može rano zaustaviti ako je prva tačka već ispod praga, a odbija pokrenuti tačku koja bi prekoračila ograničenje tokena. Ljestvica sortira po prosječnoj ocjeni, zatim po stabilnosti, pa po brzini.
- **Otkrivanje petlji** rano završava razgovor kad se dva posljednja agentova odgovora preklapaju 90% ili više i označava ga. Računa se i odgovor od jedne riječi poput „Da.“, koji bi provjera samo po bigramima propustila.

## Stvarni pozivi, onakvi kakvi su bili

Polygon može uvesti produkcijske transkripte i ocijeniti ih bez ponovnog reproduciranja. Stvarni razgovor nema simuliranog pozivaoca ni znanih činjenica, pa provjere koje od njih zavise postaju _nije primjenjivo_. Ostalo (deterministične metrike, sudija na transkriptu, probe) radi kao za simulirani razgovor. Rezultat je običan test koji može stajati u istom poređenju sa sintetičkim, i kaže nam radi li novi prompt bolje na pozivima iz prošlog mjeseca.

## Čitanje rezultata

- **Postavke sudije.** Sudija radi na temperaturi blizu nule sa strukturiranim izlazom. Ponavljanja s medijanom ga čine stabilnijim.
- **Kriteriji iza složene ocjene.** Složena ocjena je jedan broj za rangiranje; osam kriterija iza nje kaže šta popraviti.
- **Realistični pozivaoci.** Polygon generiše pozivaoce iz agentovog prompta, a mi ih s vremena na vrijeme ručno uzorkujemo da ostanu realistični.
- **Stvarni pozivi.** Uvoz produkcijskih transkripata testira istog agenta naspram poziva koje je imao.

Tags: Research, Evaluacija, Testiranje

---

Contact: hello@dialogist.cc