Kā novērtēt tērzēšanas robota veiktspēju: metrika, kas patiešām ir svarīga

Pagājušajā mēnesī es piedalījos sanāksmē, kurā produktu komanda svinēja sava tērzēšanas robota "panākumus", pamatojoties uz iespaidīgiem skaitļiem: 95% darbības laiks, 3 sekunžu atbildes laiks un 10 000 vaicājumu ik dienas. Tomēr klientu apmierinātības rādītāji strauji kritās, un atbalsta komanda slējās pieaugošajās biļetēs. Neskatoties uz labvēlīgajiem tehniskajiem rādītājiem, tērzēšanas robots nespēja sasniegt savu pamatmērķi — palīdzēt lietotājiem efektīvi atrisināt viņu problēmas.
Šāda atšķirība starp metriku un faktisko veiktspēju nav nekas neparasts. Daudzas organizācijas iekrīt slazdā, mērot to, kas ir viegli izsekojams, nevis to, kas patiešām ir svarīgs. Viņi koncentrējas uz tehniskajiem rādītājiem, kas pārskatos izskatās labi, bet nespēj noteikt, vai tērzēšanas robots sniedz patiesu vērtību lietotājiem un uzņēmumam.
Tradicionālie rādītāji, piemēram, darbspējas laiks, atbildes laiks un vaicājumu apjoms, sniedz tikai daļēju priekšstatu par tērzēšanas robota efektivitāti. Šie mērījumi var noteikt, vai jūsu tērzēšanas robots darbojas, kā paredzēts, taču tie maz atklāj, cik labi tas atbilst lietotāju vajadzībām vai virzās uz uzņēmējdarbības mērķiem. Tērzēšanas robots var darboties nevainojami un tomēr pilnībā neatbilst lietotāja vēlmēm.
Lai patiesi novērtētu tērzēšanas robota veiktspēju, mums ir nepieciešami rādītāji, kas atspoguļo gan darbības efektivitāti, gan efektivitāti no lietotāja viedokļa. Mums ir nepieciešami mērījumi, kas savieno tērzēšanas robotu mijiedarbību ar taustāmiem biznesa rezultātiem un lietotāju apmierinātību. Šajā rakstā es izpētīšu metriku, kas faktiski ir svarīga, novērtējot tērzēšanas robota veiktspēju, pamatojoties uz manu pieredzi, ieviešot un optimizējot sarunvalodas AI sistēmas dažādās nozarēs.

Kad es palīdzēju pārveidot veselības aprūpes sniedzēja tikšanās plānošanas tērzēšanas robotu, mēs atklājām kaut ko pārsteidzošu: lietotāji, kuri ātri pabeidza plānošanas uzdevumus, bieži bija mazāk apmierināti nekā tie, kuriem bija nepieciešams nedaudz ilgāks laiks, bet procesa laikā saņēma vairāk kontekstuālas informācijas. Šis ieskats apstrīdēja mūsu pieņēmumus par efektivitāti un uzsvēra apmierinātības kā galveno tērzēšanas robotu panākumu mērauklu nozīmi.
Lietotāju apmierinātībai ir jābūt jūsu North Star rādītājam — primārajam rādītājam, kas nosaka visus pārējos optimizācijas centienus. Lūk, kā to efektīvi izmērīt:
Klientu apmierinātības rādītājs (CSAT): pēc tērzēšanas robota mijiedarbības lūdziet lietotājiem novērtēt savu pieredzi skalā (parasti no 1 līdz 5). Jautājumam jābūt vienkāršam un tūlītējam: "Kā jūs novērtētu savu pieredzi ar mūsu tērzēšanas robotu šodien?" Tas nodrošina tiešu atgriezenisko saiti par lietotāju uztveri.
Net Promoter Score (NPS): lai gan NPS tradicionāli tiek izmantots uzņēmuma līmenī, to var pielāgot tērzēšanas robotu novērtēšanai, uzdodot jautājumu: "Cik jūs varat ieteikt mūsu tērzēšanas robotu citiem, kuriem ir līdzīgi jautājumi?" Tas palīdz novērtēt, vai lietotāji ir atraduši pietiekami daudz vērtības, lai atbalstītu jūsu risinājumu.
Klientu piepūles rādītājs (CES): tas mēra, cik daudz pūļu, lietotājuprāt, viņiem bija jāpatērē, lai atrisinātu problēmu. Vienkāršs jautājums, piemēram, "Cik viegli bija saņemt nepieciešamo palīdzību no mūsu tērzēšanas robota?" var sniegt vērtīgu ieskatu par berzes punktiem lietotāja pieredzē.
Aptaujas pēc mijiedarbības. Papildus skaitliskiem vērtējumiem vāciet kvalitatīvas atsauksmes ar atvērtiem jautājumiem, piemēram, "Kas būtu uzlabojis jūsu pieredzi?" vai "Kas jums šķita visnoderīgākais šajā mijiedarbībā?" Šīs atbildes bieži atklāj konkrētas uzlabošanas iespējas, kuras var palaist garām tikai metrika.
Nelūgtu atsauksmju analīze: pārraugiet un kategorizējiet komentārus, ko lietotāji sniedz tieši tērzēšanas robotam par tā darbību ("Jūs mani nesaprotat" vai "Tas bija patiešām noderīgi"). Šī nepiespiestā atsauksme var būt īpaši vērtīga, jo tā tiek piedāvāta pieredzes brīdī, nevis pārdomām.
Patiesais spēks rodas, triangulējot šos dažādos apmierinātības rādītājus un izsekojot tiem laika gaitā. Meklējiet modeļus dažādos lietotāju segmentos, vaicājumu veidos un sarunu plūsmās. Kad apmierinātības rādītāji noteiktās jomās samazinās, iedziļinieties pamatā esošajās sarunās, lai saprastu, kas notiek.
Atcerieties, ka apmierinātība nav nemainīga — lietotāju cerības mainās, jo viņi vairāk iepazīst jūsu tērzēšanas robotu un tehnoloģiju attīstību kopumā. Apmierinātības vērtējums, kas bija lielisks pirms gada, šodien varētu būt tikai pietiekams. Konsekventa šo rādītāju pārraudzība palīdz sekot līdzi mainīgajām cerībām.

Pārskatot e-komercijas tērzēšanas robotu, mēs atklājām, ka tam ir satraucošs modelis: lietotāji jautā par piegādes iespējām, tērzēšanas robots sniedza saiti uz piegādes politikas lapu, un saruna tika beigta. Komanda tos uzskaitīja kā "atrisinātas" mijiedarbības, taču pēcpārbaudes analīze parādīja, ka daudzi lietotāji pēc tam nekavējoties sazinājās ar cilvēku atbalstu. Mijiedarbība faktiski neatrisināja klientu vajadzības, bet tikai tos novirzīja.
Izšķirtspējas līmenis būtībā ir saistīts ar mērīšanu, vai lietotāji paveic to, ko viņi bija darījuši. Lūk, kā pareizi izmērīt šo būtisko rādītāju.
Pirmās saziņas izšķirtspēja (FCR): cik procentu lietotāju problēmu tiek atrisinātas viņu pirmās mijiedarbības laikā ar tērzēšanas robotu, neprasot turpmākas sarunas vai pārsūtīšanu uz cilvēku aģentiem? Tas ir īpaši svarīgi klientu apkalpošanas tērzēšanas robotiem, kur efektivitāte ir vissvarīgākā.
Mērķa izpildes rādītājs: cik procentu lietotāju, kuri sāk konkrētu procesu (piemēram, konta izveidi, tikšanās plānošanu vai pasūtījumu izsekošanu), to veiksmīgi pabeidz tērzēšanas robotā? Sadalot to pēc dažādiem lietotāju nodomiem, tiek sniegts detalizēts ieskats par to, kur jūsu tērzēšanas robots izceļas vai ar ko saskaras problēmas.
Eskalācijas līmenis: cik procentu no sarunām tiek nodotas cilvēku aģentiem? Lai gan dažas eskalācijas ir piemērotas un pat vēlamas sarežģītu problēmu gadījumā, augsts vai pieaugošs eskalācijas līmenis var norādīt uz nepilnībām jūsu tērzēšanas robota spējās vai izpratnē.
Pašapkalpošanās līmenis: cik procentu no kopējās klientu apkalpošanas mijiedarbības pilnībā apstrādā tērzēšanas robots, salīdzinot ar cilvēka iejaukšanās nepieciešamību? Tas palīdz kvantitatīvi noteikt tērzēšanas robota ietekmi uz vispārējām atbalsta darbībām.
Atmešanas rādītājs: cik procentu lietotāju pamet sarunas, pirms tiek sasniegts risinājums? Augsta pamešana konkrētos sarunu plūsmas punktos var izcelt problemātiskās jomas, kurās nepieciešami uzlabojumi.
Lai šie rādītāji būtu visnozīmīgākie, segmentējiet tos pēc dažādiem lietotāju nodomiem, klientu veidiem vai sarunas sarežģītības. 70% izšķirtspējas līmenis varētu būt lielisks sarežģītiem produktu ieteikumu scenārijiem, bet zems vienkāršiem FAQ tipa jautājumiem.
Ņemiet vērā arī laika dimensiju — izšķirtspēja, kas prasa divdesmit turp un atpakaļ apmaiņas, tehniski var tikt uzskatīta par "atrisinātu", bet, iespējams, norāda uz neefektīvu sarunas plānošanu. Izšķirtspējas metriku apvienošana ar sarunas ilguma un ilguma metriku sniedz pilnīgāku priekšstatu par efektivitāti.

Finanšu pakalpojumu tērzēšanas robotam, kuru novērtēju, bija spēcīga uzdevumu izpildes metrika konta bilances vaicājumiem, taču tas nespēja izveidot attiecības ar klientiem. Pārskatot sarunu atšifrējumus, atklājās, kāpēc: tās atbildes bija tehniski precīzas, taču pēkšņas un bezpersoniskas, radot darījumu pieredzi, kas lietotājiem lika justies nepietiekami novērtētiem, jo īpaši augsta pieskāriena nozarē, kur uzticēšanās ir būtiska.
Tērzēšanas robotu sarunu kvalitāte ietver gan sniegtās informācijas precizitāti, gan veidu, kādā tā tiek piegādāta. Lūk, kā novērtēt šo kritisko dimensiju.
Atbildes atbilstība: cik tieši tērzēšanas robots risina konkrēto uzdoto vaicājumu? To var izmērīt, manuāli pārskatot sarunu paraugus vai automatizētas sistēmas, kas novērtē jautājumu un atbilžu semantisko līdzību.
Kontekstuālā izpratne: vai tērzēšanas robots saglabā kontekstu vairāku apgriezienu sarunās? Novērtējiet, cik bieži lietotājiem ir jāatkārto informācija, ko viņi jau ir snieguši, vai labojiet tērzēšanas robota izpratni par viņu nodomiem.
Sarunas plūsmas dabiskums: cik gludi norit sarunas? Meklējiet neveiklas pārejas, atkārtotas atbildes vai gadījumus, kad tērzēšanas robots neievēro sarunvalodas normas. Tam bieži ir nepieciešama kvalitatīva pārbaude, taču to var papildināt ar lietotāju atsauksmju datiem.
Kļūdu atkopšanas līmenis: kad tērzēšanas robots pārprot lietotāju, cik efektīvi tas atkopjas? Novērtējiet, cik daudz pārpratumu tiek veiksmīgi noskaidroti, salīdzinot ar lietotāju neapmierinātību vai sarunas pārtraukšanu.
Sarunas dziļums: cik nozīmīgas ir apmaiņas? Izsekojiet metriku, piemēram, vidējo pagriezienu skaitu vienā sarunā un sarunas ilgumu, saprotot, ka atbilstošais dziļums atšķiras atkarībā no lietošanas gadījuma. Klientu apkalpošanas tērzēšanas robota mērķis var būt efektīva, īsāka mijiedarbība, savukārt pārdošanas vai konsultatīvā tērzēšanas robota mērķis varētu būt dziļāka iesaistīšanās.
Cilvēka eskalācijas kvalitāte: kad sarunas tiek nodotas cilvēku aģentiem, vai pāreja ir gluda? Izmēriet, cik bieži konteksts tiek pareizi saglabāts un vai lietotājiem ir jāatkārto informācija, ko viņi jau ir snieguši tērzēšanas robotam.
Sarunu kvalitātes novērtēšanai bieži vien ir jāapvieno automātiskā metrika ar sarunu paraugu cilvēka veiktu pārskatīšanu. Apsveriet iespēju ieviest regulāru kvalitātes nodrošināšanas procesu, kurā komandas locekļi novērtē nejauši atlasītas sarunas, salīdzinot ar standartizētu rubriku, kas aptver iepriekš minētās dimensijas.
Atcerieties, ka sarunas kvalitātes gaidas ievērojami atšķiras atkarībā no konteksta. Medicīniskajam tērzēšanas robotam par prioritāti ir jāpiešķir precizitāte un skaidrība, savukārt zīmola iesaistīšanās tērzēšanas robots var piešķirt lielāku vērtību personības un attiecību veidošanai. Jūsu vērtēšanas kritērijiem ir jāatspoguļo īpašā loma, kurai jūsu tērzēšanas robots ir paredzēts.

Kad es strādāju ar mazumtirdzniecības klientu pie viņu klientu apkalpošanas tērzēšanas robota, sākotnēji galvenā uzmanība tika pievērsta atbalsta rādītājiem. Tikai pēc tam, kad sākām izsekot pirkuma uzvedībai pēc tērzēšanas, mēs atklājām kaut ko pārsteidzošu: klientiem, kuri izmantoja tērzēšanas robotu produktu jautājumiem, bija par 32% augstāks reklāmguvumu līmenis nekā tiem, kuri to neizmantoja. Šis ieskats pilnībā mainīja to, kā uzņēmums novērtēja un ieguldīja savā tērzēšanas robotprogrammā.
Lai attaisnotu turpmākus ieguldījumus tērzēšanas robotu tehnoloģijā, jums ir nepieciešami rādītāji, kas parāda taustāmu ietekmi uz uzņēmējdarbību:
Izmaksu ietaupījumi: aprēķiniet izmaksu atšķirību starp tērzēšanas robota veiktajām mijiedarbībām un darbībām, kurām nepieciešami cilvēku aģenti. Tas parasti ietver aģenta laika izmaksas, bet var ietvert arī samazinātus apmācību izdevumus un uzlabotu darbības efektivitāti. Veiciet visaptverošu analīzi — apsveriet, kā tērzēšanas robota ieviešana ietekmē apstrādes laiku un pirmā zvana risinājumu problēmām, kas sasniedz cilvēku aģentus.
Ieņēmumu ietekme: izsekojiet pirkumu līmeni, vidējās pasūtījumu vērtības vai reklāmguvumu līmeņus lietotājiem, kuri mijiedarbojas ar tērzēšanas robotu, salīdzinot ar tiem, kuri to nedara. Uz pārdošanu orientētiem tērzēšanas robotiem mēriet tādus rādītājus kā kvalificēti potenciālie pirkumi vai atvieglota tikšanās rezervēšana.
Ietekme uz klientu noturēšanu: analizējiet, vai klientiem, kuri mijiedarbojas ar jūsu tērzēšanas robotu, ir atšķirīgi noturēšanas rādītāji salīdzinājumā ar tiem, kuri to nedara. Tas ir īpaši svarīgi abonēšanas uzņēmumiem, kur kalpošanas laika vērtība ir galvenais rādītājs.
Darbības efektivitāte: izmēriet, kā tērzēšanas robota ieviešana ietekmē galvenos darbības rādītājus, piemēram, vidējo apstrādes laiku, gaidīšanas laiku rindā, atbalsta komandas kapacitāti un maksimālā laika pārvaldību.
Ieguldījumu atdeve (IA): apvienojiet izmaksu ietaupījumu, ieņēmumu gūšanu un ieviešanas/uzturēšanas izmaksas, lai aprēķinātu kopējo ieguldījumu atdevi jūsu tērzēšanas robota iniciatīvai.
Klientu pieredzes korelācija: meklējiet korelācijas starp tērzēšanas robotu mijiedarbību un plašāku klientu pieredzes metriku, piemēram, kopējo NPS vai klienta dzīves vērtību. Vai tērzēšanas robota lietošana atbilst spēcīgākām klientu attiecībām?
Lai šie rādītāji būtu visnozīmīgākie, pirms tērzēšanas robota ieviešanas vai uzlabošanas izveidojiet skaidru bāzes līniju un nepārtraukti sekojiet izmaiņām laika gaitā. Ja iespējams, izmantojiet kontroles grupas vai A/B testēšanu, lai izolētu tērzēšanas robota īpašo ietekmi no citiem mainīgajiem.
Apsveriet arī to, kā tērzēšanas robota veiktspēja ietekmē dažādas biznesa funkcijas. Klientu apkalpošanas tērzēšanas robots galvenokārt var nodrošināt vērtību, ietaupot izmaksas, savukārt mārketinga tērzēšanas robots var tikt vērtēts vairāk, pamatojoties uz potenciālo pirkumu ģenerēšanas metriku. Saskaņojiet savus uzņēmējdarbības ietekmes rādītājus ar konkrētajiem mērķiem, kas noteikti jūsu tērzēšanas robota programmai.

Veselības aprūpes sniedzējs, ar kuru es konsultējos, nevarēja saprast, kāpēc viņu simptomu novērtēšanas tērzēšanas robotam ir tik augsts atteikšanās rādītājs, neskatoties uz to, ka kontrolētajos testos bija liela precizitāte. Problēma kļuva skaidra, pārbaudot veiktspējas žurnālus: maksimālās slodzes stundās reakcijas laiks palielinājās no 2 sekundēm līdz vairāk nekā 15 sekundēm, liekot neapmierinātiem lietotājiem pamest, pirms viņi saņēma palīdzību. Tehniskā veiktspēja nebija tikai aizmugursistēmas problēma — tā tieši ietekmēja lietotāja pieredzi.
Lai gan tehniskajiem rādītājiem nevajadzētu būt tikai jūsu uzmanības centrā, tie nodrošina pamatu, kas nodrošina visu pārējo. Galvenie tehniskās darbības rādītāji ietver:
Reakcijas laiks: cik ātri tērzēšanas robots reaģē uz lietotāja ievadi? Tas ir jāmēra dažādos vaicājumu veidos un lietošanas apstākļos, jo īpaši maksimālās satiksmes periodos.
Darbības laiks un pieejamība: cik procentu laika tērzēšanas robots pilnībā darbojas? Izsekojiet gan pilnīgus pārtraukumus, gan pasliktinātas veiktspējas periodus.
Kļūdu līmenis: cik bieži rodas tehniskas kļūdas (pretstatā sarunu pārpratumiem)? Tas ietver aizmugursistēmas kļūmes, integrācijas problēmas vai jebkādas tehniskas problēmas, kas traucē lietotāja pieredzi.
Mērogojamības veiktspēja: kā reakcijas laiks un precizitāte saglabājas pieaugošās slodzes apstākļos? Stresa testēšana var palīdzēt noteikt iespējamos vājos punktus, pirms tie ietekmē reālos lietotājus.
Platformas saderība: cik konsekventi tērzēšanas robots darbojas dažādās ierīcēs, pārlūkprogrammās un operētājsistēmās? Atšķirības var radīt kaitinošu pieredzi lietotāju apakškopām.
Integrācijas uzticamība: ja jūsu tērzēšanas robots izveido savienojumu ar citām sistēmām (piemēram, CRM, inventāra vai rezervēšanas sistēmām), cik uzticami ir šie savienojumi? Neveiksmīga integrācija bieži noved pie sarunu strupceļiem.
Tehniskās veiktspējas rādītājos jāietver gan vidējie rādītāji, gan sadalījumi. Tērzēšanas robots, kas reaģē vidēji 2 sekunžu laikā, bet bieži ir 30 sekunžu novirzes, var radīt lielāku lietotāja neapmierinātību nekā robots ar nemainīgu 3 sekunžu atbildes laiku.
Apsveriet arī tehnisko veiktspēju dažādos lietotāju segmentos un ģeogrāfiskajos reģionos. Veiktspējas problēmas bieži vien nesamērīgi ietekmē noteiktas lietotāju grupas, radot taisnīguma problēmas pakalpojumu sniegšanā.
Lai gan lielākā daļa organizāciju izseko pamata tehniskos rādītājus, galvenais ir tos saistīt ar lietotāju pieredzes ietekmi. Atbildes laiks nav tikai tehniska problēma — tas tieši ietekmē lietotāju apmierinātību un uzdevumu izpildes rādītājus. Ziņojot par tehnisko veiktspēju, skaidri norādiet šos savienojumus.

Viena no veiksmīgākajām tērzēšanas robotu ieviešanām, ko esmu redzējis, bija apdrošināšanas sabiedrībai, kurai sākotnēji bija viduvēji veiktspējas rādītāji. Tas, kas tos atšķīra, bija viņu stingrā pieeja nepārtrauktiem uzlabojumiem. Viņi izsekoja neatpazītus lietotāju nolūkus, sistemātiski pievienoja jaunas iespējas, pamatojoties uz konstatētajām nepilnībām, un novērtēja, kā katrs uzlabojums ietekmē vispārējo veiktspēju. Sešu mēnešu laikā viņu tērzēšanas robots no atbildības kļuva par konkurences priekšrocību.
Lai nodrošinātu ilgtermiņa panākumus, ir svarīgi novērtēt tērzēšanas robota spēju laika gaitā uzlaboties.
Zināšanu trūkuma identifikācijas līmenis: cik efektīvi jūsu sistēma identificē un reģistrē lietotāja jautājumus, uz kuriem tā nevar atbildēt? Šīs nepilnības atspoguļo uzlabošanas iespējas.
Jauna nolūka atklāšana: cik daudz jaunu lietotāju nolūku (lietas, ko lietotāji vēlas paveikt) tiek identificētas laika gaitā? Tas palīdz noteikt, cik labi jūs paplašinat tērzēšanas robota iespējas, pamatojoties uz faktisko lietojumu.
Mācību ieviešanas līmenis: kad tiek konstatētas nepilnības, cik ātri tās tiek novērstas, izmantojot jaunu saturu vai iespējas? Tas mēra jūsu uzlabošanas ātrumu.
Viltus pozitīvs rādītājs: cik bieži tērzēšanas robots nepareizi domā, ka saprot lietotāja nodomu, lai gan patiesībā to nesaprot? Šī ātruma samazināšanās laika gaitā liecina par labāku izpratni.
Lietotāju atsauksmju ieviešana: cik efektīvi lietotāju atsauksmes tiek iekļautas tērzēšanas robota uzlabojumos? Izsekojiet to lietotāju ieteikumu procentuālajai daļai, kas noved pie faktiskiem uzlabojumiem.
Modeļa veiktspējas tendences: ar AI darbināmiem tērzēšanas robotiem izsekojiet, kā laika gaitā uzlabojas galvenie mašīnmācīšanās rādītāji, piemēram, nolūku klasifikācijas precizitāte un entītiju atpazīšana.
A/B testēšanas apjoms: cik daudz uzlabojumu tiek sistemātiski pārbaudīti? Aktīvāka pārbaude parasti korelē ar ātrāku uzlabojumu.
Iestatiet regulārus pārskatīšanas ciklus, kuros jūsu komanda analizē šos rādītājus, nosaka uzlabojumu prioritātes un novērtē izmaiņu ietekmi. Visveiksmīgākajām tērzēšanas robotu programmām parasti ir īpašs nepārtraukts uzlabošanas process, nevis sporādiski atjauninājumi.
Apsveriet iespēju izveidot "mācību informācijas paneli", kas vizualizē, kā jūsu tērzēšanas robots laika gaitā attīstās, izceļot gan panākumus, gan jomas, kurām jāpievērš uzmanība. Tas palīdz veidot organizācijas pārliecību par tērzēšanas robota trajektoriju un attaisno pastāvīgus ieguldījumus uzlabojumos.

Novērtējot valsts aģentūras pilsoņu pakalpojumu tērzēšanas robotu, mēs atklājām satraucošas atšķirības panākumu rādītājos dažādās demogrāfiskajās grupās. Angļu valodas apguvējiem un vecākiem lietotājiem bija krasi atšķirīga pieredze nekā “vidējam” lietotājam, kas atspoguļots kopējos rādītājos. Tas uzsvēra, cik ļoti svarīgi ir izmērīt iekļautību kā galveno veiktspējas dimensiju.
Patiesi veiksmīgs tērzēšanas robots efektīvi apkalpo visus lietotājus, ne tikai tos, kuri atbilst paredzētajam profilam:
Demogrāfiskās veiktspējas salīdzinājums: salīdziniet galvenos rādītājus, piemēram, uzdevumu izpildi un apmierinātību dažādos lietotāju segmentos, tostarp vecuma grupās, valodas prasmes līmeņos, tehniskā komforta līmeņos un pieejamības vajadzībām.
Valodu atbalsta efektivitāte: ja jūsu tērzēšanas robots atbalsta vairākas valodas, novērtējiet to veiktspējas paritāti. Neprimārās valodas bieži uzrāda ievērojami vājāku veiktspēju bez īpašas uzmanības.
Pieejamības atbilstība: veiciet regulāras pārbaudes attiecībā uz pieejamības standartiem, piemēram, WCAG. Izsekojiet gan tehniskajai atbilstībai, gan faktiskajai lietojamībai lietotājiem ar dažādām spējām.
Alternatīva ceļa pieejamība: novērtējiet, cik viegli lietotāji var piekļūt alternatīviem atbalsta kanāliem, kad nepieciešams, un cik labi šīs pārejas saglabā kontekstu.
Iekļaujoša dizaina uzlabojumi: izsekojiet iekļaujoša dizaina funkciju ieviešanu un novērtējiet to ietekmi uz veiktspējas atšķirībām starp lietotāju grupām.
Lasāmības līmeņi: analizējiet lasīšanas līmeni, kas nepieciešams, lai efektīvi izmantotu tērzēšanas robotu. Lielāka sarežģītība bieži vien ir saistīta ar ierobežotu pieejamību noteiktām lietotāju grupām.
Demogrāfisko datu vākšana jāveic pārdomāti un ar atbilstošu privātuma aizsardzību. Apsveriet iespēju veikt brīvprātīgas aptaujas, lietotāju pētījumus ar dažādiem dalībniekiem vai ģeogrāfisko vai ierīču datu analīzi, ja nepieciešams.
Kad tiek konstatētas atšķirības, nosakiet konkrētus mērķus, lai samazinātu veiktspējas atšķirības. Tērzēšanas robots, kas dažiem lietotājiem darbojas lieliski, bet citiem neizdodas, nav pelnījis, lai to sauktu par veiksmīgu neatkarīgi no tā vidējiem rādītājiem.

Fintech uzņēmumā, kuru es konsultēju, katrai nodaļai bija sava tērzēšanas robota panākumu definīcija: inženierija koncentrējās uz darbspējas laiku, klientu apkalpošana uz novirzes rādītājiem, mārketings par svina piesaisti, un izpilddirektors vēlējās ROI skaitļus. Bez vienotas novērtēšanas sistēmas tērzēšanas robots vienlaikus tika atzīts par veiksmīgu un neveiksmīgu atkarībā no tā, kam jūs jautājāt.
Lai izvairītos no šīs sadrumstalotās pieejas, izveidojiet līdzsvarotu rādītāju karti, kas integrē metriku visās svarīgajās kategorijās.
Atbilstoši svara rādītāji: ne visi rādītāji ir pelnījuši vienādu uzmanību. Nosakiet dažādu pasākumu relatīvo nozīmi, pamatojoties uz jūsu konkrētajiem uzņēmējdarbības mērķiem un tērzēšanas robota mērķi.
Izveidojiet saliktus rādītājus: katrai galvenajai kategorijai (apmierinātība, izšķirtspēja, sarunas kvalitāte utt.) apsveriet iespēju izveidot saliktus rādītājus, kas apvieno saistītos rādītājus vienā rādītājā. Tas palīdz vienkāršot augsta līmeņa pārskatu sniegšanu, vienlaikus saglabājot detalizētus darbības uzlabojumu pasākumus.
Nosakiet etalonus un mērķus: definējiet, kā katrai metrikai izskatās "labi", pamatojoties uz nozares etaloniem, vēsturiskajiem rezultātiem vai stratēģiskajiem mērķiem. Tas rada skaidrus panākumu kritērijus pastāvīgai novērtēšanai.
Vizualizējiet attiecības starp metriku: izveidojiet informācijas paneļus, kas izceļ, kā dažādie rādītāji ietekmē viens otru. Tas palīdz noteikt, kuriem uzlabojumiem varētu būt tālejošākā ietekme.
Līdzsvara vadošie un atpaliekošie rādītāji: iekļaujiet gan uz nākotni vērstu metriku, kas prognozē turpmāko veiktspēju (piemēram, zināšanu trūkuma identificēšanu), gan retrospektīvus rādītājus, kas mēra rezultātus (piemēram, izšķirtspējas līmeni).
Regulāri pārskatiet un pielāgojiet: līdz ar jūsu tērzēšanas robota nobriešanu un uzņēmējdarbības vajadzību attīstību, ir jāattīstās arī jūsu novērtēšanas sistēmai. Pārskatiet savus rādītājus reizi ceturksnī, lai nodrošinātu, ka tie joprojām atspoguļo vissvarīgāko.
Visefektīvākās tērzēšanas robotu novērtēšanas pieejas apvieno kvantitatīvos rādītājus ar kvalitatīvu ieskatu sarunu pārskatos, lietotāju pētījumos un atsauksmju analīzē. Skaitļi parāda, kas notiek; sarunu analīze parāda, kāpēc.

Gadiem ilgi ieviešot un optimizējot tērzēšanas robotus dažādās nozarēs, esmu redzējis, kā pareizie rādītāji veicina nepārtrauktus uzlabojumus, savukārt nepareizie rādītāji rada nepareizu pārliecību vai nevietā fokusu. Šajā rakstā izklāstītie rādītāji nav tikai mērīšanas rīki — tie ir pamati, lai domātu par to, kas patiešām ir svarīgs sarunu pieredzē.
Veiksmīgākās organizācijas tērzēšanas robotu novērtēšanu uzskata nevis par ceturkšņa pārskatu sagatavošanu, bet gan kā nepārtrauktu mācīšanās un uzlabošanas procesu. Viņi izmanto metriku, lai identificētu konkrētas uzlabošanas iespējas, piešķirtu prioritāti uzlabojumiem, kas nodrošina vislielāko vērtību, un apstiprinātu, ka izmaiņām ir paredzētais efekts.
Tā kā sarunvalodas AI turpina attīstīties, mūsu novērtēšanas pieejām ir jāattīstās līdztekus tam. Var būt nepieciešams pilnveidot šodien svarīgos rādītājus, jo mainās lietotāju vēlmes un paplašinās iespējas. Tas, kas paliek nemainīgs, ir nepieciešamība koncentrēties uz metriku, kas ir tieši saistīta ar lietotāju vajadzībām un biznesa rezultātiem, nevis tikai uz tehniskajām iespējām.
Novērtējot patiesi svarīgo — apmierinātību, izšķirtspēju, sarunu kvalitāti, ietekmi uz uzņēmējdarbību, tehnisko pamatu, nepārtrauktu uzlabošanu un iekļaušanu, jūs veidojat atbildību par tādu tērzēšanas robotu pieredzes nodrošināšanu, kas patiesi kalpo lietotājiem un veicina biznesa mērķu sasniegšanu. Šie rādītāji pārveido tērzēšanas robotus no tehnoloģiskiem jauninājumiem vērtīgos biznesa aktīvos, kas uzlabojas ar katru mijiedarbību.
Nākotne pieder organizācijām, kas var veidot nepārtraukti pilnveidojošu, patiesi noderīgu sarunu pieredzi. Pareizā metrika ne tikai parāda, vai šodien gūstat panākumus, bet arī norāda uz vēl labāku veiktspēju rīt.