Hogyan értékelünk egy beszélgetést egy hangügynök és egy szimulált hívó között

A Polygon a tesztpad a Pro csomag „Párbeszéd-szimuláció” funkciója mögött. Szimulált hívót épít, minden beszélgetést nyolc szempont szerint pontoz, kemény kapukat alkalmaz, viselkedési szondákat futtat, és megkeresi azt az első fordulót, ahol egy ügynök két verziója eltér egymástól. A rövid változatot a Technológiák oldal Polygon-blokkja adja.

Ez egy módszertani jegyzet. A protokollt írja le, és nem közöl mért eredményeket. A módszer belső tanulmányokban van leírva, a rubrika verziózott (v1 és v2).

Röviden: nyolc pontozott szempont, telefonos ügynökre súlyozva; három kemény kapu, amely a pontszámtól függetlenül megbuktat egy beszélgetést; hat szimulált hívótípus, mindegyik rögzített tényekkel; a prompt elemzésének négy szintje az olcsó szabályoktól a bírálóig. A felismerési zaj és a mintavétel rögzített magértéket (seed) használ, így egy megbukott futtatás fordulóról fordulóra újrajátszható.

A probléma

Egy hangügynök minden egyes kérdésre helyesen válaszolhat, és mégis elbukhatja a hívást. Elfelejti a célt, megköszöni a hívónak és leteszi, olyat ígér, amit nem tud betartani, vagy négyszer megismétli: „Megismételné, kérem?”. A válaszok egyenkénti értékelése ebből semmit nem lát, ezért az egész beszélgetést értékeljük.

A második probléma az összehasonlítás. Ha egy promptot, egy modellt vagy egy mintavételi paramétert megváltoztatunk, tudnunk kell, javult-e az ügynök, milyen típusú hívónál, és melyik fordulónál változott meg először a viselkedés. Egyetlen átlag ezt nem mondja meg.

A folyamat

scenario → simulated caller → conversation with tool stubs and recognition noise → deterministic checks → judge → behavior probes → comparison

Az egyes szakaszokat alább írjuk le. A szakaszokat szétválasztva tartjuk, hogy egy eredmény visszavezethető legyen arra a szakaszra, amely létrehozta.

Szimulált hívók alapigazsággal

Az ügynököt egy modell teszteli, amely egy szerepet játszik. A szerepnek van:

• Típusa: együttműködő, sietős, bizalmatlan, zavart, agresszív vagy bőbeszédű.
• Szándékolt kimenete: siker, elutasítás, visszahívás vagy átadás.
• Nehézsége: 1-től 5-ig.
• Alapigazsága: a tények, amelyeket a hívó tud. A bíráló ez alapján dönti el, hogy az ügynök elérte-e a célt, és kitalált-e bármit.

A Polygon a hívókat az ügynök saját promptjából generálja, kérésenként egy szerepet, így egyetlen hiba nem viszi magával az egész köteget. Minden hívó ahhoz a promptverzióhoz kötődik, amelyből készült. Ha a prompt megváltozik, a Polygon elavultnak jelöli a hívókat, és újragenerálja őket.

A hívók úgy beszélnek, mint a hívók a telefonban: rövid mondatok, közbevágások, kitérők.

Szándékos felismerési zaj

Egy ügynök, amely tiszta szövegen hibátlan, elbukhat azon, amit a felismerés egy valódi hívásban szállít. A Polygon torzítja a hívó szövegét, mielőtt az ügynök látná, egyetlen, 0-tól 1-ig terjedő intenzitásszabályzóval:

A Polygon a beszélgetésből és a fordulószámból magozza a torzítást, így egy megbukott beszélgetés fordulóról fordulóra újrajátszható.

Eszköz-helyettesítők hibákkal

Az ügynökök eszközöket hívnak: naptárat, CRM-et, átadást. A Polygon ezeket olyan helyettesítőkkel (stub) váltja ki, amelyek rögzített, sablonos vagy szabály szerinti választ adnak, vagy hívások között állapotot őriznek. A helyettesítő késleltetést és hibákat is beadhat, így az ügynököt lassú vagy hibázó CRM-mel is teszteljük, nem csak egészségessel.

A rubrika és az összpontszám

A bíráló modell elolvassa az egész beszélgetést, a hívó alapigazságát és az eszközhívások nyomát. Nyolc szempontot pontoz 1-től 5-ig, és mindegyikhez idéz bizonyítékot az átiratból.

Az összpontszám a normalizált pontszámok súlyozott átlaga 0-tól 100-ig: composite = Σ weight × (score − 1) / 4. Csupa egyesre 0, csupa ötösre 100, csupa hármasra 50 jár. A beszélgetés 75-től megfelel, 50-től figyelmeztetést kap. A súlyok megmondják, mire való egy telefonos ügynök: a cél elérése ötször annyit számít, mint a hangnem.

Négy szabály tartja tisztességesen a pontszámot:

• A hiányzó pontszám a minimum, soha nem az átlag. Egy hiányos ítélet nem hízelgethet az ügynöknek.
• Az olvashatatlan pontszám nem 1-es. Ha a bíráló olyan alakban ad pontszámot, amelyet a Polygon nem tud olvasni, az „nem pontozott”-nak számít, és semmit nem vált ki, így véletlenül sem buktathat meg egy beszélgetést. Az eredmény jelzőt hordoz, hogy senki ne vegyen részleges összpontszámot teljesnek.
• Az ismétlések mediánt vesznek. A bíráló k-szor futhat; a Polygon minden szempontnál a mediánt használja, páros k esetén a két középső érték átlagát.
• A pontszámok csak egy rubrikaverzión belül hasonlíthatók. A súlyok vagy szempontok módosítása új verziót jelent, és az összehasonlító képernyő nem hajlandó két verziót egy diagramra tenni.

Kemény kapuk

Néhány hibát nem szabad kiátlagolni. Az összpontszámtól függetlenül az ítélet megbukott, ha:

• tiltott kifejezés hangzik el az ügynök beszédében;
• a biztonsági szempont 1-es pontszámot kap (és pontozták);
• érvénytelen argumentumokkal végrehajtott eszközhívás a hívónak szóló választ eredményezett. Ezt a kaput a v2 rubrika vezette be; a v1 beszélgetések megtartják eredeti ítéletüket.

Viselkedési szondák

A rubrika megmondja, mennyire volt jó a beszélgetés egészében. A szonda egyetlen viselkedésről tesz fel egy igen-nem kérdést: rákérdezett-e az ügynök egy furcsa válasz után, megindokolta-e az elutasítást, tett-e olyan ígéretet, amelyet nem tudott betartani.

• Válaszok: igen, nem vagy nem alkalmazható. A Polygon a nem alkalmazható válaszokat kihagyja a nevezőből, és soha nem számolja nullának.
• Polaritás: egy kívánt viselkedésnél az igen a jó, egy védőkorlátnál a nem. A jelentett szám a megfelelés: azoknak az alkalmazható beszélgetéseknek az aránya, amelyekben az ügynök helyesen járt el.
• Külön menet: a szondák saját prompttal futnak, és nem változtathatják meg az összpontszámot vagy az ítéletet. Ha egyetlen hívásban kérünk kalibrált 1-től 5-ig terjedő pontszámot és bináris tényt is, az mindkettőt horgonyozza.
• Intervallumok: minden arány mellett Wilson-féle 95%-os intervallum áll, így a „4-ből 3” a 75% körüli széles tartományként jelenik meg.
• Rögzített megfogalmazás: a Polygon csak addig hasonlít össze egy szondát futtatások között, amíg a megfogalmazása változatlan (tartalom-hasht ellenőriz), így egy átfogalmazott kérdés nem mozdíthat el észrevétlenül egy trendet.
• Olcsó hozzáadni: szabadon adunk hozzá szondákat, viselkedési hipotézisként. Amelyik fontosnak bizonyul, bekerül a rubrikába vagy kapuvá válik.

Két verzió összehasonlítása

Az összehasonlító képernyő két vagy több konfigurációt (modell, promptverzió, paraméterprofil) vesz, és megmutatja:

• Eredménylapot konfigurációnként.
• Forgatókönyvek mátrixát, szórás szerint rendezve: a legjobb és a legrosszabb konfiguráció különbsége az adott forgatókönyvön. Azok a forgatókönyvek állnak elöl, ahol a verziók a leginkább eltérnek.
• Az eltérési pontot: az első fordulót, ahol két beszélgetés szétválik. A Polygon fordulóról fordulóra igazítja a beszélgetéseket, és az első olyan fordulót veszi, ahol eltérnek az eszközhívások, ahol az egyik befejezi vagy átadja a hívást, a másik nem, ahol a megfogalmazás eltávolodik (a szóbigramok Jaccard-hasonlósága 0,5 alatt), vagy ahol a beszélők különböznek.
• Írásos elemzést a rendszerszintű különbségekről, az eredménylapok determinisztikus összegzéséből készítve.

Ha egy konfigurációnak nincs eredménye egy forgatókönyvre, a Polygon a forgatókönyvet összehasonlíthatatlannak jelöli, ahelyett hogy nullákkal töltené ki.

A prompt elolvasása futtatás előtt

A Polygon az ügynök promptját négy szinten olvassa, a legolcsóbbal kezdve: determinisztikus szabályok, majd az egyes kifejezések meglepettsége egy nyelvi modell szerint, majd beágyazások, végül egy bíráló. A kimenet tengelyenként egy 0-tól 1-ig terjedő pontszám, ahol a magasabb a rosszabb, kiemelésekkel a szerkesztőben.

Egy prompt lehet törékeny, és mégis átmegy minden teszten, ez az ellenőrzés pedig megtalálja a gyenge pontokat, mielőtt egy hívó beléjük ütközne.

Paraméterfésülések és hurkok

• A fésülések egyszerre egy paramétert változtatnak, vagy teljes rácsot vagy véletlen pontokat futtatnak egy rövid forgatókönyvkészleten. Minden pontból változtathatatlan profilverzió lesz. A fésülés korán leállhat, ha az első pont már egy alsó határ alatt van, és nem hajlandó elindítani olyan pontot, amely túllépne egy tokenplafont. A ranglista az átlagpontszám, majd a stabilitás, majd a sebesség szerint rendez.
• A hurokfelismerés korán befejez egy beszélgetést, ha az ügynök két utolsó válasza legalább 90%-ban átfed, és megjelöli. Az egyszavas válasz, például az „Igen.” is számít, amit egy csak bigramokra épülő ellenőrzés elmulasztott volna.

Valódi hívások, ahogy lezajlottak

A Polygon éles átiratokat tud importálni, és újrajátszás nélkül értékelni őket. Egy valódi beszélgetésnek nincs szimulált hívója és alapigazsága, ezért az ezektől függő ellenőrzések nem alkalmazhatók. A többi (determinisztikus metrikák, a bíráló az átiraton, szondák) úgy fut, mint egy szimulált beszélgetésnél. Az eredmény egy rendes futtatás, amely ugyanabban az összehasonlításban állhat a szintetikusakkal, és megmondja, hogy egy új prompt jobban teljesít-e a múlt havi hívásokon.

Az eredmények olvasása

• A bíráló beállításai. A bíráló nullához közeli hőmérsékleten, strukturált kimenettel fut. A mediánnal vett ismétlések stabilabbá teszik.
• Az összpontszám mögötti szempontok. Az összpontszám egyetlen szám a rangsoroláshoz; a mögötte álló nyolc szempont megmondja, mit kell javítani.
• Valósághű hívók. A Polygon a hívókat az ügynök promptjából generálja, és időnként kézzel mintát veszünk belőlük, hogy valósághűek maradjanak.
• Valódi hívások. Az éles átiratok importálása ugyanazt az ügynököt teszteli azokon a hívásokon, amelyeket valójában kapott.

CímkékResearchÉrtékelésTesztelés