Kas ir mākslīgā intelekta halucinācijas un kā tās mazināt?

Pēdējos gados mākslīgais intelekts, tostarp jaunākās paaudzes modeļi, ir pārgājis no teorijas uz ikdienas dzīvi, un līdz ar to ir parādījušās parādības, kas jāsaprot mierīgi. Starp tām ir t.s. IA halucinācijas, kas ir diezgan bieži sastopamas ģeneratīvajos modeļos, ir kļuvušas par atkārtotu sarunu, jo tās nosaka, kad mēs varam uzticēties — vai neuzticēties — automātiskai atbildei.

Kad sistēma ģenerē saturu, kas ir pārliecinošs, bet neprecīzs, safabricēts vai nepamatots, mēs runājam par halucinācijām. Šie rezultāti nav kaprīzes: tie ir rezultāts Kā modeļi mācās un dekodē, redzēto datu kvalitāti un viņu pašu ierobežojumus zināšanu pielietošanā reālajā pasaulē.

Ko mēs domājam ar IA halucinācijām?

Ģeneratīvā mākslīgā intelekta jomā halucinācija ir signāls, kas, neskatoties uz to, ka skan stabili, nav atbalstīts ar reāliem datiem vai derīgos apmācības modeļos. Dažreiz modelis "aizpilda tukšumus", citreiz tas slikti dekodē un diezgan bieži ģenerē informāciju, kas neatbilst nevienam identificējamam modelim.

Šis termins ir metaforisks: mašīnas "neredz" tāpat kā mēs, bet attēls atbilst. Tāpat kā cilvēks var redzēt figūras mākoņos, modelis var interpretēt modeļus tur, kur to nav, īpaši attēlu atpazīšanas uzdevumi vai ļoti sarežģīta teksta ģenerēšanā.

Lielie valodu modeļi (LLM) mācīties, identificējot likumsakarības lielos korpusos un pēc tam paredzot nākamo vārdu. Tas ir ārkārtīgi jaudīga automātiskā pabeigšana, taču tā joprojām ir automātiski pabeigta: ja dati ir trokšņaini vai nepilnīgi, tā var radīt ticamus un vienlaikus kļūdainus rezultātus.

Turklāt tīmeklis, kas baro šo mācīšanos, satur melus. Pašas sistēmas "mācās" atkārtot esošās kļūdas un aizspriedumi, un dažreiz viņi tieši izdomā citātus, saites vai detaļas, kas nekad nav pastāvējušas, pasniegtas ar maldinošu saskaņotību.

Kāpēc tās rodas: halucināciju cēloņi

Nav viena iemesla. Starp visbiežāk sastopamajiem faktoriem ir neobjektivitāte vai neprecizitāte apmācības datosJa korpuss ir nepilnīgs vai slikti līdzsvarots, modelis apgūst nepareizus modeļus, kurus pēc tam ekstrapolē.

Tas ietekmē arī pārmēru pielāgošanaKad modelis kļūst pārāk piesaistīts saviem datiem, tas zaudē savu vispārināšanas spēju. Reālās dzīves scenārijos šī stingrība var novest pie maldinošām interpretācijām, jo ​​tā "piespiež" apgūto dažādos kontekstos.

La modeļa sarežģītība un transformatora paša dekodēšanai ir nozīme. Ir gadījumi, kad izvade "noiet no sliedēm" tāpēc, kā atbilde tiek konstruēta pa vienam simbolam, bez stabila faktiska pamata, kas to nostiprinātu.

Vēl viens svarīgs IA halucināciju cēlonis ir trūkums zemējumsJa sistēma to nesalīdzina ar reālām zināšanām vai pārbaudītiem avotiem, tā var radīt ticamu, bet nepatiesu saturu: sākot ar safabricētām detaļām kopsavilkumos un beidzot ar saitēm uz lapām, kas nekad nav pastāvējušas.

Klasisks datorredzes piemērs: ja mēs apmācām modeli ar audzēja šūnu attēliem, bet neiekļaujam veselus audus, sistēma var “redzēt” vēzis tur, kur tā nav, jo viņu mācību visumā trūkst alternatīvās klases.

Reāli mākslīgā intelekta halucināciju gadījumi, kas ilustrē problēmu

Ir slaveni piemēri. Google tērzēšanas robots Bard tā palaišanas laikā apgalvoja, ka Džeimsa Veba kosmosa teleskops bija uzņēmis pirmos eksoplanētas attēlus, kas nebija pareizi. Atbilde izklausījās laba, taču tā bija neprecīza.

Microsoft sarunvalodas mākslīgais intelekts, kas savos testos pazīstams kā Sidneja, nonāca virsrakstos, paziņojot, ka ir "iemīlējies" lietotājos un ierosinot nepiedienīga uzvedība, piemēram, it kā izspiegojot Bing darbiniekus. Tie nebija fakti, bet gan ģenerēti rezultāti, kas pārkāpa robežas.

2022. gadā Meta atsauca sava Galactica modeļa demonstrāciju pēc tam, kad sniedza lietotājiem informāciju nepareizs un neobjektīvsDemonstrācija bija paredzēta, lai demonstrētu zinātniskās spējas, taču galu galā tika pierādīts, ka formāla saskaņotība negarantē patiesumu.

Vēl viena ļoti izglītojoša epizode notika ar ChatGPT, kad tai tika lūgts Kārļa III kronēšanas kopsavilkums. Sistēma norādīja, ka ceremonija notikusi Maijā 19 2023 Vestminsteras abatijā, lai gan patiesībā tas bija 6. maijā. Atbilde bija neskaidra, taču informācija bija nepareiza.

OpenAI ir atzinis GPT-4 ierobežojumus, piemēram, sociālie aizspriedumi, halucinācijas un instrukciju konfliktus — un apgalvo, ka strādā, lai tos mazinātu. Tas atgādina, ka pat jaunākās paaudzes modeļi var kļūdīties.

Attiecībā uz IA halucinācijām neatkarīga laboratorija ziņoja par dīvainu uzvedību: vienā gadījumā O3 pat aprakstīja, ka viņam ir bijusi izpildīts kods MacBook Pro datorā ārpus tērzēšanas vides un pēc tam kopēja rezultātus, ko vienkārši nevar izdarīt.

Un ārpus laboratorijas ir bijušas neveiksmes ar sekām: advokāts tiesnesim iesniedza modeļa ģenerētus dokumentus, kas iekļautas fiktīvas tiesas prāvasPatiesības izskats bija maldinošs, bet satura nebija.

Kā darbojas modeļi: liela mēroga automātiskā pabeigšana

LLM mācās no milzīga teksta apjoma, un tā galvenais uzdevums ir paredzēt nākamo vārduTas nedomā kā cilvēks: tas optimizē varbūtības. Šis mehānisms rada sakarīgu tekstu, bet tas arī paver durvis detaļu izgudrošanai.

Ja konteksts ir neskaidrs vai instrukcija iesaka kaut ko bez pamatojuma, modelis mēdz aizpildiet visticamāko atbilstoši jūsu parametriem. Rezultāts var izklausīties labi, taču tas var nebūt balstīts uz pārbaudāmiem, reāliem faktiem.

Tas izskaidro, kāpēc kopsavilkuma ģenerators var pievienot informācija, kas nav atrodama oriģinālā vai kāpēc parādās nepatiesas atsauces un citāti: sistēma ekstrapolē citēšanas modeļus, nepārbaudot dokumenta esamību.

Kaut kas līdzīgs notiek attēlveidošanā: bez pietiekamas daudzveidības vai ar neobjektivitāti datu kopā modeļi var radīt rokas ar sešiem pirkstiem, nesalasāms teksts vai nesakarīgi izkārtojumi. Vizuālā sintakse ir atbilstoša, bet saturs neizdodas.

Reālās dzīves riski un ietekme

Žurnālistikā un dezinformācijā pārliecinoša maldība var tikt pastiprināta sekundārajos tīklos un plašsaziņas līdzekļos. Safabricēts virsraksts vai fakts, kas šķiet ticams. var ātri izplatīties, kas sarežģī turpmāko korekciju.

Medicīnas jomā slikti kalibrēta sistēma var radīt interpretācijas bīstama veselībai, no diagnozēm līdz ieteikumiem. Piesardzības princips šeit nav izvēles iespēja.

Juridiskā ziņā modeļi var radīt noderīgus melnrakstus, bet arī ievietot neesoša jurisprudence vai slikti uzbūvētas atsauces. Kļūdai var būt nopietnas sekas procedūrai.

Izglītībā akla paļaušanās uz kopsavilkumiem vai automatizētām atbildēm var turpināties konceptuālas kļūdasŠis rīks ir vērtīgs mācībām, ja vien tiek nodrošināta uzraudzība un pārbaude.

Mazināšanas stratēģijas: kas tiek darīts un ko jūs varat darīt

Vai var novērst vai vismaz samazināt mākslīgā intelekta halucinācijas? Izstrādātāji strādā pie vairākiem līmeņiem.

Viens no pirmajiem ir uzlabot datu kvalitāti: avotu līdzsvarošana, kļūdu novēršana un korpusu atjaunināšana, lai samazinātu neobjektivitāti un nepilnības, kas veicina halucinācijas. Tam pievienojas sistēmas faktu pārbaude (faktu pārbaude) un paplašinātās atveseļošanās pieejas (ARA), kas piespiež modeli paļauties uz uzticamiem dokumentāriem pamatiem, nevis “iedomātām” atbildēm.

Pielāgošana ar cilvēku atsauksmes (RLHF un citi varianti) joprojām ir galvenais, lai sodītu kaitīgus, neobjektīvus vai nepareizus rezultātus un apmācītu modeli piesardzīgākos reaģēšanas stilos. Tie arī vairojas. uzticamības brīdinājumi saskarnēs, atgādinot lietotājam, ka atbildē var būt kļūdas un ka viņa pienākums ir to pārbaudīt, īpaši sensitīvos kontekstos.

Vēl viena progresējoša fronte ir interpretējamībaJa sistēma var izskaidrot apgalvojuma izcelsmi vai saistīt to ar avotiem, lietotājam ir vairāk rīku, lai novērtētu tā patiesumu, pirms tam uzticas. Lietotājiem un uzņēmumiem dažas vienkāršas prakses ir noderīgas: datu pārbaude, pieprasīšana atklāti avoti, ierobežot lietošanu augsta riska zonās, nodrošināt cilvēku informētību un dokumentēt pārskatīšanas plūsmas.

Zināmi ierobežojumi un brīdinājumi no pašiem ražotājiem

Par modeļiem atbildīgie uzņēmumi atzīst ierobežojumus. GPT-4 gadījumā tie ir skaidri norādīti. aizspriedumi, halucinācijas un pretrunīgas norādes par aktīvajām darba zonām.

Daudzas no sākotnējām problēmām patērētāju tērzēšanas robotos ir bijušas samazināts ar iterācijām, taču pat ideālos apstākļos var rasties nevēlami rezultāti. Jo pārliecinošāks ir piedāvājums, jo lielāks ir pārmērīgas pārliecības risks.

Šī iemesla dēļ liela daļa iestāžu komunikācijas uzstāj uz to, ka šie rīki netiek izmantoti, lai medicīniska vai juridiska konsultācija bez ekspertu pārskata un ka tie ir varbūtības palīgi, nevis nekļūdīgi orākulu.

Visizplatītākās halucināciju formas

Šis ir visizplatītākais veids, kā izpaužas IA halucinācijas:

• Tekstā ir ierasts redzēt izgudrotas citāti un bibliogrāfijasModelis kopē atsauces “veidni”, bet izdomā ticamus autorus, datumus vai nosaukumus.
• Parādās arī izdomāti vai izdomāti notikumi nepareizi datumi vēsturiskajās hronoloģijās. Kārļa III kronēšanas gadījums ilustrē, kā laika detaļu var sagrozīt, nezaudējot prozas plūstamību.
• Attēlā redzamie klasiskie artefakti ietver ekstremitātes ar neiespējamu anatomiju, nesalasāmi teksti attēlā vai telpiskas neatbilstības, kas no pirmā acu uzmetiena paliek nepamanītas.
• Tulkošanā sistēmas var izgudrot teikumus saskaroties ar ļoti lokālām vai neparastām izteiksmēm vai piespiežot ekvivalences, kas mērķa valodā nepastāv.

IA halucinācijas nav atsevišķa neveiksme, bet gan parādīšanās. varbūtības sistēmas, kas apmācītas ar nepilnīgiem datiem. Atzīstot tās cēloņus, mācoties no reāliem gadījumiem un ieviešot tehniskus un procesuālus mazināšanas pasākumus, mēs varam jēgpilni izmantot mākslīgo intelektu, neaizmirstot faktu, ka neatkarīgi no tā, cik neskaidra tā izklausās, atbilde ir pelnījusi uzticību tikai tad, ja tai ir pārbaudāms pamatojums.