Kako ocjenjujemo razgovor između glasovnog agenta i simuliranog pozivaoca

Polygon je ispitni sto iza stavke „Simulacija dijaloga“ u planu Pro. Gradi simuliranog pozivaoca, svaki razgovor ocjenjuje po osam kriterijuma, primjenjuje stroge kapije, pokreće sonde ponašanja i nalazi prvu repliku u kojoj se dvije verzije agenta razilaze. Blok o Polygonu na stranici Tehnologije daje kratku verziju.

Ovo je bilješka o metodi. Opisuje protokol i ne navodi nikakve izmjerene rezultate. Metoda je opisana u internim radovima, a rubrika je verzionisana (v1 i v2).

Ukratko: osam ocjenjivanih kriterijuma, ponderisanih za telefonskog agenta; tri stroge kapije koje obaraju razgovor bez obzira na ocjenu; šest tipova simuliranih pozivalaca, svaki sa fiksnim skupom činjenica; četiri nivoa analize prompta, od jeftinih pravila do sudije. Šum prepoznavanja i uzorkovanje koriste fiksne seedove, pa se neuspjelo pokretanje može ponoviti repliku po repliku.

Problem

Glasovni agent može tačno odgovoriti na svako pojedinačno pitanje i ipak pasti na pozivu. Zaboravi cilj, zahvali pozivaocu i spusti slušalicu, obeća nešto što ne može ispuniti ili četiri puta ponovi „Možete li to ponoviti?“. Ocjenjivanje odgovora jedan po jedan to ne vidi, pa ocjenjujemo cijeli razgovor.

Drugi problem je poređenje. Kad promijenimo prompt, model ili parametar uzorkovanja, treba da znamo je li agent postao bolji, na kojoj vrsti pozivaoca i u kojoj se repliki ponašanje prvi put promijenilo. Jedan prosjek to ne može reći.

Cjevovod

scenario → simulirani pozivalac → razgovor sa zamjenama alata i šumom prepoznavanja → determinističke provjere → sudija → sonde ponašanja → poređenje

Svaka faza je opisana u nastavku. Faze držimo odvojenim da se rezultat može pratiti do faze koja ga je proizvela.

Simulirani pozivaoci sa istinom o činjenicama

Agent se testira naspram modela koji igra personu. Persona ima:

• Tip: saradljiv, zauzet, nepovjerljiv, zbunjen, agresivan ili pričljiv.
• Namjeravani ishod: uspjeh, odbijanje, povratni poziv ili prebacivanje.
• Težinu: od 1 do 5.
• Istinu o činjenicama: činjenice koje pozivalac zna. Sudija po njima odlučuje je li agent postigao cilj i je li nešto izmislio.

Polygon generiše pozivaoce iz prompta samog agenta, jednu personu po zahtjevu, da jedan neuspjeh ne povuče cijelu seriju. Svaki pozivalac je vezan za verziju prompta iz koje je generisan. Kad se prompt promijeni, Polygon pozivaoce označi kao zastarjele i generiše ih ponovo.

Pozivaoci govore kao pozivaoci na telefonu: kratke rečenice, upadice, skretanja s teme.

Šum prepoznavanja namjerno

Agent koji je besprijekoran na čistom tekstu može zakazati na onome što prepoznavanje isporuči na pravom pozivu. Polygon izobličava tekst pozivaoca prije nego što ga agent vidi, jednim regulatorom intenziteta od 0 do 1:

Polygon izobličenje inicijalizuje iz razgovora i broja replike, pa se razgovor koji je pao može ponoviti repliku po repliku.

Zamjene alata sa kvarovima

Agenti pozivaju alate: kalendar, CRM, prebacivanje poziva. Polygon ih zamjenjuje zamjenama (stubovima) koje vraćaju fiksne odgovore, odgovore iz šablona ili odgovore po pravilima, ili pamte stanje između poziva. Zamjena može dodati kašnjenje i ubaciti greške, pa se agent testira i naspram sporog ili neispravnog CRM-a, a ne samo ispravnog.

Rubrika i zbirna ocjena

Model sudija čita cijeli razgovor, istinu o činjenicama pozivaoca i trag poziva alata. Ocjenjuje osam kriterijuma ocjenom od 1 do 5 i za svaki navodi dokaz iz transkripta.

Zbirna ocjena je ponderisana sredina normalizovanih ocjena, od 0 do 100: composite = Σ weight × (score − 1) / 4. Sve jedinice daju 0, sve petice 100, sve trojke 50. Razgovor prolazi na 75 i više, a upozorenje dobija od 50. Težine kazuju čemu telefonski agent služi: ostvarenje cilja vrijedi pet puta više od tona.

Četiri pravila čuvaju poštenje ocjene:

• Nedostajuća ocjena je minimum, nikad prosjek. Nepotpuna procjena ne može laskati agentu.
• Nečitljiva ocjena nije jedinica. Kad sudija vrati ocjenu u obliku koji Polygon ne može pročitati, računa se kao „neocijenjeno“ i ne pokreće ništa, pa ne može slučajno oboriti razgovor. Rezultat nosi oznaku, da niko ne zamijeni djelimičnu zbirnu ocjenu potpunom.
• Ponavljanja daju medijanu. Sudija može raditi k puta; Polygon uzima medijanu svakog kriterijuma, a za parno k uprosječi dvije srednje vrijednosti.
• Ocjene se porede samo unutar jedne verzije rubrike. Izmjena težina ili kriterijuma znači novu verziju, a ekran poređenja odbija da dvije verzije stavi na isti grafikon.

Stroge kapije

Neki neuspjesi ne smiju se uprosječiti. Bez obzira na zbirnu ocjenu, presuda je pad kada:

• se u govoru agenta pojavi zabranjena fraza;
• kriterijum bezbjednosti dobije 1 (i bio je ocijenjen);
• je poziv alata sa neispravnim argumentima proizveo odgovor pozivaocu. Tu kapiju je dodala rubrika v2; razgovori iz v1 zadržavaju svoju prvobitnu presudu.

Sonde ponašanja

Rubrika kaže koliko je razgovor u cjelini bio dobar. Sonda postavlja jedno pitanje sa odgovorom da ili ne o jednom ponašanju: je li agent ponovo pitao nakon čudnog odgovora, je li naveo razlog odbijanja, je li dao obećanje koje ne može ispuniti.

• Odgovori: da, ne ili nije primjenjivo. Polygon odgovore „nije primjenjivo“ izostavlja iz imenioca i nikad ih ne računa kao nulu.
• Polaritet: za željeno ponašanje dobro je da, za zaštitnu ogradu dobro je ne. Prijavljeni broj je usklađenost, udio primjenjivih razgovora u kojima je agent učinio pravu stvar.
• Poseban prolaz: sonde rade sa svojim promptom i ne mogu promijeniti zbirnu ocjenu ni presudu. Traženje kalibrisane ocjene od 1 do 5 i binarne činjenice u istom pozivu međusobno kvari obje vrijednosti.
• Intervali: svaka stopa nosi Wilsonov interval od 95%, pa se „3 od 4“ prikazuje kao širok raspon oko 75%.
• Fiksna formulacija: Polygon poredi sondu među pokretanjima samo dok je njena formulacija nepromijenjena (provjerava heš sadržaja), pa preformulisano pitanje ne može neprimjetno pomjeriti trend.
• Jeftino za dodavanje: sonde dodajemo slobodno, kao hipoteze o ponašanju. One koje se pokažu važnim prelaze u rubriku ili postaju kapija.

Poređenje dvije verzije

Ekran poređenja uzima dvije ili više konfiguracija (model, verziju prompta, profil parametara) i prikazuje:

• Karton rezultata po konfiguraciji.
• Matricu scenarija, poređanu po rasponu: razlika između najbolje i najgore konfiguracije na tom scenariju. Scenariji u kojima se verzije najviše razilaze idu prvi.
• Tačku razilaženja: prvu repliku u kojoj se dva razgovora razdvajaju. Polygon poravnava razgovore repliku po repliku i uzima prvu repliku u kojoj se razlikuju pozivi alata, u kojoj jedan završava ili prebacuje poziv a drugi ne, u kojoj se formulacije udaljavaju (Jaccardova sličnost bigrama riječi manja od 0,5) ili u kojoj se razlikuju govornici.
• Pisanu analizu sistematskih razlika, napravljenu iz determinističkog sažetka kartona rezultata.

Kad jedna konfiguracija nema rezultat za scenario, Polygon scenario označava kao neuporediv umjesto da ga popunjava nulama.

Čitanje prompta prije pokretanja

Polygon čita prompt agenta u četiri nivoa, od najjeftinijeg: deterministička pravila, zatim iznenađenje svake fraze za jezički model, zatim vektorske reprezentacije (embeddings), zatim sudija. Izlaz je ocjena od 0 do 1 po osi, gdje je veća vrijednost gora, sa istaknutim mjestima u uređivaču.

Prompt može biti krhak a ipak proći svaki test, a ova provjera nalazi slaba mjesta prije nego što na njih naiđe pozivalac.

Pretrage parametara i petlje

• Pretrage mijenjaju jedan parametar po jedan, ili prolaze punu mrežu ili slučajne tačke, nad kratkim skupom scenarija. Svaka tačka postaje nepromjenjiva verzija profila. Pretraga se može zaustaviti ranije ako je prva tačka već ispod donje granice, a odbija da pokrene tačku koja bi prešla ograničenje tokena. Rang lista sortira po srednjoj ocjeni, zatim po stabilnosti, zatim po brzini.
• Otkrivanje petlji rano završava razgovor kad se posljednja dva odgovora agenta preklapaju 90% ili više, i označava ga. Računa se i jednoriječan odgovor poput „Da.“, što provjera samo po bigramima ne bi uhvatila.

Pravi pozivi, onakvi kakvi su bili

Polygon može uvesti proizvodne transkripte i ocijeniti ih bez ponovnog igranja. Pravi razgovor nema simuliranog pozivaoca ni istine o činjenicama, pa provjere koje na njima počivaju postaju nije primjenjivo. Ostalo (determinističke metrike, sudija nad transkriptom, sonde) radi kao za simulirani razgovor. Rezultat je obično pokretanje koje može stajati u istom poređenju sa sintetičkim, i kaže nam da li novi prompt prolazi bolje na pozivima iz prošlog mjeseca.

Čitanje rezultata

• Postavke sudije. Sudija radi na temperaturi blizu nule sa strukturisanim izlazom. Ponavljanja sa medijanom čine ga stabilnijim.
• Kriterijumi iza zbirne ocjene. Zbirna ocjena je jedan broj za rang listu; osam kriterijuma iza nje kazuje šta treba popraviti.
• Realistični pozivaoci. Polygon generiše pozivaoce iz prompta agenta, a mi ih s vremena na vrijeme ručno uzorkujemo da ostanu realistični.
• Pravi pozivi. Uvoz proizvodnih transkripta testira istog agenta na pozivima koje je zaista imao.

OznakeResearchEvaluacijaTestiranje