Kontekstu izprotoša AI izveide: izaicinājumi un sasniegumi

Kad es pirmo reizi sāku strādāt ar AI sistēmām pirms desmit gadiem, to nespēja izprast kontekstu bija sāpīgi acīmredzama. Jūs uzdotu šķietami vienkāršu jautājumu, lai tikai saņemtu atbildi, kas pilnībā izlaida atzīmi, jo sistēma nespēja aptvert kontekstuālās nianses, ko cilvēki intuitīvi saprot.
Konteksta izpratne ir viens no nozīmīgākajiem izaicinājumiem mākslīgā intelekta attīstībā. Atšķirībā no cilvēkiem, kuri bez piepūles interpretē nozīmi, pamatojoties uz situācijas apzināšanos, kultūras zināšanām un sarunu vēsturi, tradicionālās AI sistēmas galvenokārt ir darbojušās ar modeļu atpazīšanu un statistisko analīzi, patiesi "izprotot" plašāku kontekstu.
Šī kontekstuālā plaisa izpaužas dažādos veidos: mākslīgais intelekts var neatpazīt sarkasmu, nepamanīt kultūras atsauču nozīmi vai aizmirst iepriekšējās sarunas daļas, kas nodrošina izšķirošu kontekstu jaunas informācijas interpretācijai. Tas ir tāpat kā runāt ar kādu, kam ir lielisks vārdu krājums, bet nav sociālās izpratnes vai atmiņas par to, ko teicāt pirms piecām minūtēm.

Konteksts nav vienskaitļa jēdziens, bet gan daudzdimensionāls ietvars, kas aptver dažādus elementus:

Lingvistiskais konteksts ietver vārdus, teikumus un rindkopas, kas ieskauj konkrētu apgalvojumu. Kad kāds saka: "Es to nevaru izturēt", nozīme krasi mainās, ja iepriekšējais teikums ir "Šis krēsls šūpojas", nevis "Šī mūzika ir skaista".

Situācijas konteksts ietver izpratni par vidi, laiku un apstākļiem, kādos notiek komunikācija. Pieprasījums pēc "norādījumiem" nozīmē kaut ko citu, stāvot apmaldījušies uz ielas stūra, salīdzinot ar sēdi konferencē par vadību.

Kultūras konteksts ietver kopīgas zināšanas, atsauces un normas, kas veido komunikāciju. Kad kāds piemin "Hamleta izspēlēšanu", viņš atsaucas uz neizlēmību, bet mākslīgais intelekts bez kultūras konteksta varētu sākt deklamēt Šekspīru.

Starppersonu konteksts ietver attiecību dinamiku, kopīgu vēsturi un emocionālos stāvokļus, kas ietekmē mijiedarbību. Draugi saprot viens otra iekšējos jokus un var atklāt smalkas toņa maiņas, kas signalizē par emocijām. Lai mākslīgā intelekta sistēmas patiesi izprastu kontekstu tā, kā to dara cilvēki, tām ir jāaptver visas šīs dimensijas vienlaikus — monumentāls izaicinājums, kas pētniekus ir nodarbinājis gadu desmitiem.

Agrīnie mēģinājumi izveidot kontekstu apzinīgu AI lielā mērā balstījās uz uz noteikumiem balstītām sistēmām un manuāli kodētām zināšanām. Izstrādātāji rūpīgi ieprogrammētu tūkstošiem ja-tad noteikumu, lai apstrādātu konkrētus kontekstus. Piemēram: "Ja lietotājs min "sajūtu" un iepriekš ir runājis par darba interviju, atsaucieties uz interviju, atbildot."
Šī pieeja ātri kļuva neilgtspējīga. Potenciālo kontekstu skaits būtībā ir bezgalīgs, un manuāli programmēt atbildes katram scenārijam nav iespējams. Šīs sistēmas bija trauslas, nespēja vispārināt jaunas situācijas un bieži sabojājās, saskaroties ar neparedzētiem ievadiem.
Statistikas metodes, piemēram, n-grammas un pamata mašīnmācīšanās, nedaudz uzlaboja situāciju, ļaujot sistēmām atpazīt valodas lietošanas modeļus. Tomēr šīs pieejas joprojām cīnījās ar liela attāluma atkarībām — sarunā daudz iepriekš minēto informāciju savienojot ar pašreizējiem apgalvojumiem — un nevarēja iekļaut plašākas pasaules zināšanas.
Pat sarežģītākas neironu tīklu pieejas, piemēram, agrīni atkārtoti neironu tīkli (RNN) un ilgtermiņa īstermiņa atmiņas (LSTM) tīkli, uzlaboja kontekstuālo izpratni, bet joprojām cieta no "konteksta amnēzijas", kad sarunas kļuva ilgstošas vai sarežģītas.

Izrāviens notika 2017. gadā, kad tika ieviesta transformatora arhitektūra, kas būtiski mainīja veidu, kā AI sistēmas apstrādā secīgu informāciju. Atšķirībā no iepriekšējiem modeļiem, kas apstrādāja tekstu pa vienam vārdam secībā, transformatori izmanto mehānismu, ko sauc par "pašuzmanību", kas ļauj vienlaikus apsvērt visus fragmenta vārdus, izsverot attiecības starp tiem.
Šī arhitektūra ļāva modeļiem uztvert daudz ilgākas kontekstuālās atkarības un saglabāt izpratni par informāciju, kas minēta tūkstošiem vārdu iepriekš. Slavenais papīrs "uzmanība ir viss, kas jums nepieciešams", ko izstrādājuši Vaswani et al. parādīja, ka šī pieeja var ievērojami uzlabot mašīntulkošanas kvalitāti, labāk saglabājot kontekstuālo nozīmi dažādās valodās.
Šis arhitektūras jauninājums radīja pamatu tādiem modeļiem kā BERT, GPT un to pēcteči, kuri ir parādījuši arvien sarežģītākas kontekstuālās izpratnes iespējas. Šie modeļi ir iepriekš apmācīti plašajos teksta korpusos, ļaujot tiem absorbēt valodas lietošanas modeļus neskaitāmos kontekstos, pirms tie tiek pielāgoti konkrētām lietojumprogrammām.
Šo modeļu mērogs ir eksponenciāli pieaudzis, no miljoniem parametru līdz simtiem miljardu, ļaujot tiem uztvert arvien smalkākus kontekstuālos modeļus. Šķiet, ka lielākajiem modeļiem tagad ir elementāras "veselā saprāta" zināšanu formas, kas palīdz tiem izskaidrot mulsinošās atsauces un saprast netiešo nozīmi.

Lai gan uz tekstu balstīta kontekstuālā izpratne ir dramatiski attīstījusies, cilvēki konteksta izpratnē nepaļaujas tikai uz vārdiem. Mēs interpretējam situācijas, izmantojot vizuālas norādes, balss toni, ķermeņa valodu un pat smalkus vides faktorus.
Nesenie sasniegumi multimodālajā mākslīgā intelekta jomā sāk pārvarēt šo plaisu. Tādas sistēmas kā CLIP, DALL-E un to pēcteči var savienot valodu un vizuālo informāciju, radot bagātīgāku kontekstuālo izpratni. Piemēram, ja tiek parādīts pārpildīta stadiona attēls kopā ar tekstu par "spēli", šīs sistēmas var secināt, vai runa ir par beisbolu, futbolu vai futbolu, pamatojoties uz vizuāliem norādījumiem.
Audiovizuālie modeļi tagad var noteikt emocionālos stāvokļus no balss toņa un sejas izteiksmēm, pievienojot vēl vienu būtisku kontekstuālās izpratnes slāni. Kad kāds saka “Lieliski pastrādāts” sarkastiski pret patiesību, nozīme pilnībā mainās — šīs jaunākās sistēmas sāk saprast atšķirību.
Nākamā robeža ietver šo multimodālo iespēju integrāciju ar sarunvalodas AI, lai izveidotu sistēmas, kas vienlaikus izprot kontekstu dažādos sensoros kanālos. Iedomājieties mākslīgā intelekta palīgu, kas atpazīst, ka gatavojat ēdienu (vizuālais konteksts), dzird jūsu neapmierināto signālu (audio konteksts), pamana, ka lasāt recepti (teksta konteksts), un piedāvā atbilstošu palīdzību bez skaidras pamudināšanas.

Pat ar uzlabotiem valodu modeļiem AI sistēmām ir bijis grūti saglabāt konsekventu kontekstuālo atmiņu ilgstošas mijiedarbības laikā. Agrīnie lielie valodu modeļi "aizmirsa" iepriekš sarunā pieminētās detaļas vai sasauca atbildes, nevis atzīst zināšanu trūkumus.
Nesenie sasniegumi izguves paplašinātajā paaudzē (RAG) novērš šo ierobežojumu, ļaujot AI sistēmām atsaukties uz ārējām zināšanu bāzēm un iepriekšējo sarunu vēsturi. Tā vietā, lai paļautos tikai uz parametriem, kas kodēti apmācības laikā, šīs sistēmas vajadzības gadījumā var aktīvi meklēt atbilstošu informāciju, līdzīgi kā cilvēki meklē savas atmiņas.
Konteksta logi — teksta apjoms, ko AI var ņemt vērā, ģenerējot atbildes, vismodernākajās sistēmās ir ievērojami paplašinājušies no dažiem simtiem marķieru līdz simtiem tūkstošu. Tas nodrošina daudz saskaņotāku ilgtermiņa satura ģenerēšanu un sarunu, kas nodrošina konsekvenci ilgstošās apmaiņas laikā.
Tikpat svarīgi ir spriešanas spēju attīstība. Mūsdienu sistēmas tagad var veikt daudzpakāpju argumentācijas uzdevumus, sadalot sarežģītas problēmas pārvaldāmās darbībās, vienlaikus saglabājot kontekstu visā procesā. Piemēram, risinot matemātikas uzdevumu, viņi var sekot līdzi starprezultātiem un pieņēmumiem tādā veidā, kas atspoguļo cilvēka darba atmiņu.

Tā kā mākslīgā intelekta sistēmas kļūst arvien prasmīgākas konteksta izpratnē, rodas jauni ētiski apsvērumi. Sistēmas, kas aptver kultūras un sociālās nianses, varētu potenciāli efektīvāk manipulēt ar lietotājiem vai pastiprināt kaitīgās aizspriedumus, kas atrodas apmācības datos.

Spēja saglabāt kontekstuālo atmiņu mijiedarbībās rada arī bažas par privātumu. Ja mākslīgais intelekts atceras personas datus, kas kopīgoti pirms nedēļām vai mēnešiem, un negaidīti tos atjauno, lietotāji var justies pārkāpti, pat ja viņi labprātīgi kopīgoja šo informāciju.
Izstrādātāji strādā, lai risinātu šīs bažas, izmantojot tādas metodes kā kontrolēta aizmirstība, nepārprotamas piekrišanas mehānismi personas informācijas glabāšanai un aizspriedumu mazināšanas stratēģijas. Mērķis ir izveidot mākslīgo intelektu, kas pietiekami labi izprot kontekstu, lai būtu noderīgs, nekļūstot uzbāzīgs vai manipulatīvs.

Pastāv arī pārredzamības izaicinājums. Tā kā kontekstuālā izpratne kļūst sarežģītāka, lietotājiem kļūst arvien grūtāk saprast, kā mākslīgā intelekta sistēmas nonāk pie saviem secinājumiem. Metodes mākslīgā intelekta lēmumu pieņemšanas izskaidrošanai no konteksta atkarīgos scenārijos ir aktīva pētījumu joma.

Sasniegumi kontekstuālajā izpratnē pārveido daudzas jomas:
Veselības aprūpē kontekstuāli apzinošs AI var interpretēt pacientu sūdzības, ņemot vērā viņu slimības vēsturi, dzīvesveida faktorus un pašreizējos medikamentus. Kad pacients apraksta simptomus, sistēma var uzdot atbilstošus papildu jautājumus, pamatojoties uz šo visaptverošo kontekstu, nevis ievērojot vispārīgu skriptu.
Klientu apkalpošanas sistēmas tagad saglabā sarunu vēsturi un konta informāciju mijiedarbības laikā, novēršot kaitinošo nepieciešamību atkārtot informāciju. Viņi var noteikt emocionālos stāvokļus no valodas modeļiem un attiecīgi pielāgot savu toni — kļūst formālāki vai empātiskāki, kā to pieprasa konteksts.
Izglītības lietojumprogrammas izmanto kontekstuālo izpratni, lai izsekotu skolēna mācību ceļam, identificējot zināšanu trūkumus un nepareizus priekšstatus. Tā vietā, lai nodrošinātu standartizētu saturu, šīs sistēmas pielāgo skaidrojumus, pamatojoties uz studenta iepriekšējiem jautājumiem, kļūdām un parādīto izpratni.
Juridisko un finanšu dokumentu analīze gūst milzīgu labumu no kontekstuālās izpratnes. Mūsdienu mākslīgais intelekts var interpretēt klauzulas visu līgumu, attiecīgo tiesību aktu un judikatūras plašākā kontekstā, pamanot neatbilstības vai iespējamās problēmas, kas varētu izvairīties no pārskatītājiem, kas saskaras ar informācijas pārslodzi.
Radošie rīki, piemēram, rakstīšanas palīgi, tagad saglabā tematisko konsekvenci garos darbos, iesakot saturu, kas ir saskaņots ar izveidotajām rakstzīmēm, iestatījumiem un stāstījuma lokiem, nevis vispārīgu teksta pabeigšanu.

Raugoties nākotnē, vairāki daudzsološi pētniecības virzieni varētu vēl vairāk pārveidot kontekstuālo AI:
Epizodiskās atmiņas modeļu mērķis ir sniegt AI sistēmām kaut ko līdzīgu cilvēka autobiogrāfiskajai atmiņai — spēju atcerēties konkrētus notikumus un pieredzi, nevis tikai statistikas modeļus. Tas ļautu veikt daudz personalizētāku mijiedarbību, pamatojoties uz kopīgo vēsturi.
Cēloņsakarības ietvari cenšas pāriet uz korelāciju balstītu modeļu atpazīšanu, lai izprastu cēloņsakarības. Tas ļautu AI spriest par hipotētiskiem faktiem ("Kas notiktu, ja...") un sniegtu precīzākas prognozes jaunos kontekstos.
Tiek izstrādāti starpkultūru kontekstuālie modeļi, lai saprastu, kā konteksts mainās dažādās kultūras sistēmās, padarot AI sistēmas pielāgojamākas un mazāk neobjektīvas pret Rietumu kultūras normām.
Embodied AI pētījumi pēta, kā fiziskais konteksts — atrašanās vidē ar spēju ar to mijiedarboties — maina kontekstuālo izpratni. Roboti un virtuālie aģenti, kas var redzēt, manipulēt ar objektiem un pārvietoties telpās, izstrādā atšķirīgus kontekstuālos modeļus nekā tikai teksta sistēmas.
Galīgais mērķis joprojām ir mākslīgā vispārējā intelekta (AGI) izveide ar cilvēkiem līdzīgu kontekstuālo izpratni — sistēmas, kas var nemanāmi integrēt visas šīs konteksta formas, lai sazinātos un spriestu par pasauli tikpat efektīvi kā cilvēki. Lai gan mēs joprojām esam tālu no šī pavērsiena, izrāvienu temps liecina, ka mēs nepārtraukti virzāmies šajā virzienā.
Tā kā šīs tehnoloģijas turpina attīstīties, tās pārveido mūsu attiecības ar mašīnām no stingras, uz komandām balstītas mijiedarbības uz plūstošām, kontekstuāli bagātām sadarbībām, kas arvien vairāk atgādina cilvēku savstarpējo komunikāciju. AI, kas patiesi izprot kontekstu, nav tikai tehnisks sasniegums — tas ir būtiskas pārmaiņas cilvēces tehnoloģiskajā ceļojumā.