Mākslīgā intelekta, kas izprot kontekstu, veidošana: izaicinājumi un sasniegumi

Kad pirms desmit gadiem sāku strādāt ar mākslīgā intelekta sistēmām, to nespēja izprast kontekstu bija sāpīgi acīmredzama. Jūs uzdevāt šķietami vienkāršu jautājumu, bet saņēmāt atbildi, kas pilnībā netrāpīja mērķī, jo sistēma nespēja aptvert konteksta nianses, ko cilvēki intuitīvi saprot.

Konteksta izpratne ir viens no būtiskākajiem izaicinājumiem mākslīgā intelekta attīstībā. Atšķirībā no cilvēkiem, kuri bez piepūles interpretē nozīmi, balstoties uz situācijas izpratni, kultūras zināšanām un sarunu vēsturi, tradicionālās mākslīgā intelekta sistēmas galvenokārt ir darbojušās, balstoties uz modeļu atpazīšanu un statistisko analīzi, patiesi "izprotot" plašāku kontekstu.
Šī kontekstuālā plaisa izpaužas daudzos veidos: mākslīgais intelekts var neatpazīt sarkasmu, nepamanīt kultūras atsauču nozīmi vai aizmirst sarunas iepriekšējās daļas, kas sniedz būtisku kontekstu jaunas informācijas interpretācijai. Tas ir kā runāt ar kādu, kam ir lieliska vārdu krājuma, bet nav sociālās izpratnes vai atmiņas par to, ko teicāt pirms piecām minūtēm.

Konteksts nav vienskaitļa jēdziens, bet gan daudzdimensionāls ietvars, kas aptver dažādus elementus:

Lingvistiskais konteksts ietver vārdus, teikumus un rindkopas, kas ieskauj konkrētu apgalvojumu. Kad kāds saka: "Es to nevaru izturēt", nozīme krasi mainās, ja iepriekšējais teikums ir "Šis krēsls šūpojas", nevis "Šī mūzika ir skaista".

Situācijas konteksts ietver izpratni par vidi, laiku un apstākļiem, kādos notiek komunikācija. Pieprasījums pēc "norādījumiem" nozīmē kaut ko citu, stāvot apmaldījušies uz ielas stūra, salīdzinot ar sēdi konferencē par vadību.

Kultūras konteksts ietver kopīgas zināšanas, atsauces un normas, kas veido komunikāciju. Kad kāds piemin "Hamleta iestudējumu", viņš atsaucas uz neizlēmību, bet mākslīgais intelekts bez kultūras konteksta varētu sākt deklamēt Šekspīru.

Starppersonu konteksts ietver attiecību dinamiku, kopīgu vēsturi un emocionālos stāvokļus, kas ietekmē mijiedarbību. Draugi saprot viens otra iekšējos jokus un var atklāt smalkas toņa maiņas, kas signalizē par emocijām. Lai mākslīgā intelekta sistēmas patiesi izprastu kontekstu tā, kā to dara cilvēki, tām ir jāaptver visas šīs dimensijas vienlaikus — monumentāls izaicinājums, kas pētniekus ir nodarbinājis gadu desmitiem.

Agrīnie mēģinājumi veidot kontekstatkarīgu mākslīgo intelektu lielā mērā balstījās uz uz noteikumiem balstītām sistēmām un manuāli kodētām zināšanām. Izstrādātāji rūpīgi programmēja tūkstošiem "ja-tad" noteikumu, lai apstrādātu konkrētus kontekstus. Piemēram: "Ja lietotājs piemin "jūtas nomākts" un iepriekš ir runājis par darba interviju, tad, atbildot, atsaucieties uz interviju."
Šī pieeja ātri kļuva neilgtspējīga. Potenciālo kontekstu skaits būtībā ir bezgalīgs, un manuāla atbilžu programmēšana katram scenārijam nav iespējama. Šīs sistēmas bija trauslas, nespēja vispārināt uz jaunām situācijām un bieži vien salūza, saskaroties ar negaidītiem ievades datiem.
Statistikas metodes, piemēram, n-grammas un pamata mašīnmācīšanās, nedaudz uzlaboja situāciju, ļaujot sistēmām atpazīt valodas lietojuma modeļus. Tomēr šīs pieejas joprojām cīnījās ar tāla darbības rādiusa atkarībām — sasaistot sarunā daudz agrāk minēto informāciju ar pašreizējiem apgalvojumiem — un nevarēja iekļaut plašākas pasaules zināšanas.
Vēl sarežģītākas neironu tīklu pieejas, piemēram, agrīnie rekurentie neironu tīkli (RNN) un ilgtermiņa īstermiņa atmiņas (LSTM) tīkli, uzlaboja konteksta izpratni, bet joprojām cieta no "konteksta amnēzijas", kad sarunas kļuva garas vai sarežģītas.

Izrāviens notika 2017. gadā, ieviešot Transformer arhitektūru, kas fundamentāli mainīja to, kā mākslīgā intelekta sistēmas apstrādā secīgu informāciju. Atšķirībā no iepriekšējiem modeļiem, kas apstrādāja tekstu pa vienam vārdam noteiktā secībā, Transformers izmanto mehānismu, ko sauc par "pašuzmanību", kas ļauj tiem vienlaikus apsvērt visus vārdus fragmentā, izvērtējot to savstarpējās attiecības.

Šī arhitektūra ļāva modeļiem uztvert daudz ilgākas kontekstuālās atkarības un saglabāt izpratni par informāciju, kas minēta tūkstošiem vārdu iepriekš. Slavenais Vaswani et al. raksts "uzmanība ir viss, kas jums nepieciešams" parādīja, ka šī pieeja varētu ievērojami uzlabot mašīntulkojuma kvalitāti, labāk saglabājot kontekstuālo nozīmi dažādās valodās.
Šis arhitektūras jauninājums radīja pamatu tādiem modeļiem kā BERT, GPT un to pēctečiem, kas ir demonstrējuši arvien sarežģītākas kontekstuālās izpratnes spējas. Šie modeļi ir iepriekš apmācīti uz plašiem teksta korpusiem, ļaujot tiem absorbēt valodas lietojuma modeļus neskaitāmos kontekstos, pirms tie tiek precīzi pielāgoti konkrētām lietojumprogrammām.
Šo modeļu mērogs ir eksponenciāli pieaudzis no miljoniem parametru līdz simtiem miljardu, ļaujot tiem uztvert arvien smalkākus kontekstuālos modeļus. Šķiet, ka lielākajiem modeļiem tagad ir rudimentāras "veselā saprāta" zināšanas, kas palīdz tiem atšķirt mulsinošas atsauces un izprast netiešo nozīmi.

Lai gan uz tekstu balstīta kontekstuālā izpratne ir ievērojami attīstījusies, cilvēki vairs nepaļaujas tikai uz vārdiem, lai saprastu kontekstu. Mēs interpretējam situācijas, izmantojot vizuālas norādes, balss toni, ķermeņa valodu un pat smalkus vides faktorus.

Nesenie sasniegumi multimodālā mākslīgā intelekta jomā sāk pārvarēt šo plaisu. Tādas sistēmas kā CLIP, DALL-E un to pēcteči var savienot valodu un vizuālo informāciju, radot bagātīgāku kontekstuālo izpratni. Piemēram, ja tiek parādīts pārpildīta stadiona attēls kopā ar tekstu par "spēli", šīs sistēmas, pamatojoties uz vizuālām norādēm, var secināt, vai tas attiecas uz beisbolu, futbolu vai futbolu.

Audiovizuālie modeļi tagad var noteikt emocionālos stāvokļus no balss toņa un sejas izteiksmēm, pievienojot vēl vienu būtisku kontekstuālās izpratnes slāni. Kad kāds sarkastiski saka "Lieliski paveikts" vai sirsnīgi, nozīme pilnībā mainās — atšķirība, ko šīs jaunākās sistēmas sāk aptvert.

Nākamā robeža ietver šo multimodālo iespēju integrēšanu ar sarunvalodas mākslīgo intelektu, lai izveidotu sistēmas, kas vienlaikus saprot kontekstu dažādos maņu kanālos. Iedomājieties mākslīgā intelekta palīgu, kas atpazīst, ka gatavojat ēst (vizuālais konteksts), dzird jūsu neapmierināto toni (audio konteksts), pamana, ka lasāt recepti (teksta konteksts), un piedāvā atbilstošu palīdzību bez tiešas uzvednes.

Pat ar attīstītiem valodu modeļiem mākslīgā intelekta sistēmām ir bijušas grūtības saglabāt konsekventu kontekstuālo atmiņu ilgstošas mijiedarbības laikā. Agrīnie lielie valodu modeļi "aizmirsa" detaļas, kas iepriekš minētas sarunā, vai safabricēja atbildes, nevis atzina zināšanu trūkumus.

Nesenie sasniegumi atgūšanas papildinātās ģenerēšanas (RAG) jomā risina šo ierobežojumu, ļaujot mākslīgā intelekta sistēmām atsaukties uz ārējām zināšanu bāzēm un iepriekšējo sarunu vēsturi. Tā vietā, lai paļautos tikai uz apmācības laikā kodētiem parametriem, šīs sistēmas var aktīvi meklēt atbilstošu informāciju, kad tas nepieciešams, līdzīgi kā cilvēki konsultējas ar savām atmiņām.

Konteksta logi — teksta apjoms, ko mākslīgais intelekts var ņemt vērā, ģenerējot atbildes — ir ievērojami palielinājušies no dažiem simtiem marķieru līdz simtiem tūkstošu vismodernākajās sistēmās. Tas ļauj ģenerēt daudz saskaņotāku garas formas saturu un sarunu, kas saglabā konsekvenci ilgstošās apmaiņās.

Tikpat svarīgi ir sasniegumi spriešanas spēju jomā. Mūsdienu sistēmas tagad var veikt daudzpakāpju spriešanas uzdevumus, sadalot sarežģītas problēmas pārvaldāmos soļos, vienlaikus saglabājot kontekstu visā procesā. Piemēram, risinot matemātikas uzdevumu, tās var sekot līdzi starprezultātiem un pieņēmumiem tādā veidā, kas atspoguļo cilvēka darba atmiņu.

Tā kā mākslīgā intelekta sistēmas kļūst arvien prasmīgākas konteksta izpratnē, rodas jauni ētiski apsvērumi. Sistēmas, kas aptver kultūras un sociālās nianses, varētu potenciāli efektīvāk manipulēt ar lietotājiem vai pastiprināt kaitīgās aizspriedumus, kas atrodas apmācības datos.

Spēja saglabāt kontekstuālo atmiņu mijiedarbībās rada arī bažas par privātumu. Ja mākslīgais intelekts atceras personas datus, kas kopīgoti pirms nedēļām vai mēnešiem, un negaidīti tos atjauno, lietotāji var justies kā pārkāpts viņu privātums, pat ja viņi labprātīgi kopīgoja šo informāciju.
Izstrādātāji strādā, lai risinātu šīs bažas, izmantojot tādas metodes kā kontrolēta aizmirstība, nepārprotamas piekrišanas mehānismi personas informācijas glabāšanai un aizspriedumu mazināšanas stratēģijas. Mērķis ir izveidot mākslīgo intelektu, kas pietiekami labi izprot kontekstu, lai būtu noderīgs, nekļūstot uzbāzīgs vai manipulatīvs.

Pastāv arī pārredzamības izaicinājums. Tā kā kontekstuālā izpratne kļūst sarežģītāka, lietotājiem kļūst arvien grūtāk saprast, kā mākslīgā intelekta sistēmas nonāk pie saviem secinājumiem. Metodes mākslīgā intelekta lēmumu pieņemšanas izskaidrošanai no konteksta atkarīgos scenārijos ir aktīva pētījumu joma.

Kontekstuālās izpratnes sasniegumi pārveido daudzas jomas:
Veselības aprūpē kontekstuāli apzinoša mākslīgā intelekta (MI) sistēma var interpretēt pacientu sūdzības, ņemot vērā viņu slimības vēsturi, dzīvesveida faktorus un pašreizējās zāles. Kad pacients apraksta simptomus, sistēma var uzdot atbilstošus papildu jautājumus, pamatojoties uz šo visaptverošo kontekstu, nevis sekojot vispārīgam scenārijam.
Klientu apkalpošanas sistēmas tagad saglabā sarunu vēsturi un konta informāciju visas mijiedarbības laikā, novēršot nomācošo nepieciešamību atkārtot informāciju. Tās var noteikt emocionālos stāvokļus no valodas modeļiem un attiecīgi pielāgot savu toni — kļūstot formālākam vai empātiskākam atkarībā no konteksta.
Izglītības lietojumprogrammas izmanto kontekstuālo izpratni, lai izsekotu studenta mācību ceļam, identificējot zināšanu trūkumus un nepareizus priekšstatus. Tā vietā, lai sniegtu standartizētu saturu, šīs sistēmas pielāgo skaidrojumus, pamatojoties uz studenta iepriekšējiem jautājumiem, kļūdām un pierādīto izpratni.
Juridisko un finanšu dokumentu analīze gūst milzīgu labumu no kontekstuālās izpratnes. Mūsdienu MI var interpretēt klauzulas plašākā visu līgumu, attiecīgo tiesību aktu un tiesu prakses kontekstā, atklājot neatbilstības vai potenciālas problēmas, kas varētu palikt nepamanītas cilvēku recenzentiem, kuri saskaras ar informācijas pārslodzi.
Radošie rīki, piemēram, rakstīšanas palīgi, tagad saglabā tematisko konsekvenci garos darbos, piedāvājot saturu, kas atbilst jau iedibinātiem tēliem, vidēm un naratīva lokiem, nevis vispārīgu teksta pabeigšanu.

Raugoties nākotnē, vairāki daudzsološi pētniecības virzieni varētu vēl vairāk pārveidot kontekstuālo mākslīgo intelektu:
Epizodiskās atmiņas modeļi tiecas piešķirt mākslīgā intelekta sistēmām kaut ko līdzīgu cilvēka autobiogrāfiskajai atmiņai — spēju atcerēties konkrētus notikumus un pieredzi, nevis tikai statistiskus modeļus. Tas ļautu veikt daudz personalizētāku mijiedarbību, pamatojoties uz kopīgu vēsturi.
Cēloņsakarību spriešanas sistēmas cenšas virzīties tālāk par uz korelāciju balstītu modeļu atpazīšanu uz cēloņu un seku attiecību izpratni. Tas ļautu mākslīgajam intelektam spriest par pretfaktuāliem ("Kas notiktu, ja...") un sniegt precīzākas prognozes jaunos kontekstos.
Tiek izstrādāti starpkultūru kontekstuālie modeļi, lai izprastu, kā konteksts mainās dažādās kultūras sistēmās, padarot mākslīgā intelekta sistēmas pielāgojamākas un mazāk tendētas uz Rietumu kultūras normām.
Iemiesotā mākslīgā intelekta pētījumi pēta, kā fiziskais konteksts — atrašanās vidē ar iespēju mijiedarboties ar to — maina kontekstuālo izpratni. Roboti un virtuālie aģenti, kas var redzēt, manipulēt ar objektiem un pārvietoties telpās, izstrādā atšķirīgus kontekstuālos modeļus nekā tikai teksta sistēmas.
Galīgais mērķis joprojām ir radīt mākslīgo vispārējo intelektu (AGI) ar cilvēkam līdzīgu kontekstuālo izpratni — sistēmas, kas var nemanāmi integrēt visus šos konteksta veidus, lai sazinātos un spriestu par pasauli tikpat efektīvi kā cilvēki. Lai gan mēs joprojām esam tālu no šī pagrieziena punkta, sasniegumu temps liecina, ka mēs nepārtraukti virzāmies šajā virzienā.

Tā kā šīs tehnoloģijas turpina attīstīties, tās pārveido mūsu attiecības ar mašīnām no stingras, uz komandām balstītas mijiedarbības uz plūstošu, kontekstuāli bagātu sadarbību, kas arvien vairāk atgādina cilvēku savstarpējo komunikāciju. Mākslīgais intelekts, kas patiesi izprot kontekstu, nav tikai tehnisks sasniegums — tas atspoguļo fundamentālas pārmaiņas cilvēces tehnoloģiskajā ceļojumā.