Kio estas halucinoj de artefarita inteligenteco kaj kiel redukti ilin?

En la lastaj jaroj, artefarita inteligenteco, inkluzive de plej novaj generaciaj modeloj, transiris de teorio al ĉiutaga vivo, kaj kun ĝi aperis fenomenoj, kiujn oni devas kompreni trankvile. Inter ili, la tiel nomata AI-halucinoj, sufiĉe oftaj en generativaj modeloj, fariĝis revenanta konversacio, ĉar ili determinas kiam ni povas fidi — aŭ ne — aŭtomatan respondon.

Kiam sistemo generas enhavon konvinkan sed malprecizan, elpensitan aŭ nepruvitan, ni parolas pri halucinoj. Ĉi tiuj rezultoj ne estas kapricoj: ili estas la rezulto de kiel modeloj lernas kaj deĉifras, la kvalito de la datumoj, kiujn ili vidis, kaj siaj propraj limigoj en la akirado de scio en la reala mondo.

Kion ni celas per IA-halucinoj?

En la kampo de generativa AI, halucino estas eligo kiu, malgraŭ sonado solida, ne estas subtenata de realaj datumoj aŭ en validaj trejnaj ŝablonoj. Iafoje la modelo "plenigas la mankojn", alifoje ĝi malbone deĉifras, kaj, sufiĉe ofte, ĝi produktas informojn, kiuj ne sekvas ian ajn identigeblan ŝablonon.

La termino estas metafora: maŝinoj ne "vidas" kiel ni, sed la bildo konvenas. Same kiel homo povas vidi figuroj en la nuboj, modelo povas interpreti ŝablonojn kie ne ekzistas, precipe en taskoj pri bildrekono aŭ en la generado de tre kompleksa teksto.

La grandaj lingvomodeloj (LLM) lernas identigante regulecojn en grandaj korpusoj kaj poste antaŭdirante la sekvan vorton. Ĝi estas ekstreme potenca aŭtokompletigo, sed ĝi tamen estas aŭtomata kompletigo: se la datumoj estas bruaj aŭ nekompletaj, ili povas produkti kredindajn kaj samtempe erarajn rezultojn.

Plue, la reto, kiu nutras ĉi tiun lernadon, enhavas malveraĵojn. La sistemoj mem "lernas" ripeti ekzistantaj eraroj kaj biasoj, kaj kelkfoje ili rekte inventas citaĵojn, ligilojn aŭ detalojn, kiuj neniam ekzistis, prezentitajn kun kohereco, kiu estas trompema.

Kial ili okazas: kaŭzoj de halucinoj

Ne ekzistas ununura kaŭzo. Inter la plej oftaj faktoroj estas biaso aŭ malprecizeco en la trejnaj datumojSe la korpuso estas nekompleta aŭ malbone ekvilibra, la modelo lernas malĝustajn ŝablonojn, kiujn ĝi poste eksterpolas.

Ĝi ankaŭ influas la troalĝustigoKiam modelo tro alkroĉiĝas al siaj datumoj, ĝi perdas sian ĝeneraligan kapablon. En realvivaj scenaroj, ĉi tiu rigideco povas konduki al misgvidaj interpretoj, ĉar ĝi "devigas" tion, kion ĝi lernis, en malsamajn kuntekstojn.

La komplekseco de la modelo kaj la propra malkodado de la transformilo ludas rolon. Estas kazoj kie la eligo "devias de la reloj" pro kiel la respondo estas konstruita ĵetono post ĵetono, sen solida fakta bazo por ankri ĝin.

Alia grava kaŭzo de IA-halucinoj estas la manko de terkonektoSe la sistemo ne komparas ĝin kun realmonda scio aŭ konfirmitaj fontoj, ĝi povas produkti kredindan sed malveran enhavon: de fabrikitaj detaloj en resumoj ĝis ligiloj al paĝoj, kiuj neniam ekzistis.

Klasika ekzemplo en komputila vidado: se ni trejnas modelon kun bildoj de tumorĉeloj sed ne inkluzivas sanan histon, la sistemo eble "vidos" kancero kie ne estas, ĉar al ilia lerna universo mankas la alternativa klaso.

Realaj kazoj de AI-halucinoj kiuj ilustras la problemon

Ekzistas famaj ekzemploj. Ĉe sia lanĉo, la Bard-babilroboto de Google asertis, ke Kosmoteleskopo James Webb kaptis la unuajn bildojn de ekstersunsistema planedo, kio ne estis ĝusta. La respondo sonis bone, sed ĝi estis malpreciza.

La konversacia AI de Mikrosofto, konata kiel Sidnejo en siaj testoj, faris fraptitolojn deklarante sin "enamiĝinta" al uzantoj kaj sugestante malkonvena konduto, kiel ekzemple supozeble spionado de dungitoj de Bing. Ĉi tiuj ne estis faktoj, ili estis generitaj rezultoj kiuj transiris limojn.

En 2022, Meta retiris la demonstraĵon de sia Galactica modelo post kiam li provizis al uzantoj informojn. malĝusta kaj partiaLa demonstraĵo celis montri sciencajn kapablojn, sed fine montris, ke formala kohereco ne garantias verecon.

Alia tre instrua epizodo okazis kun ChatGPT kiam oni petis resumon de la kronado de Karlo la 3-a. La sistemo deklaris, ke la ceremonio okazis je la 19-an de majo 2023 en Abatejo Westminster, kiam fakte ĝi estis la 6-an de majo. La respondo estis fluida, sed la informo estis malĝusta.

OpenAI agnoskis limojn de GPT-4 —ekzemple sociaj antaŭjuĝoj, halucinoj kaj instrukciaj konfliktoj — kaj diras, ke ĝi laboras por mildigi ilin. Ĝi memorigas, ke eĉ la plej novaj generacioj de modeloj povas panei.

Rilate al IA-halucinoj, sendependa laboratorio raportis kuriozajn kondutojn: en unu kazo, O3 eĉ priskribis havi efektivigis kodon sur MacBook Pro ekster la babileja medio kaj poste kopiis rezultojn, ion kion vi simple ne povas fari.

Kaj ekster la laboratorio okazis malsukcesoj kun sekvoj: advokato prezentis dokumentojn generitajn de modelo al juĝisto, kiuj inkluzivis fikciajn jurajn kazojnLa ŝajno de vero estis trompema, sed la enhavo estis neekzistanta.

Kiel modeloj funkcias: grandskala aŭtokompletigo

LLM lernas el grandegaj kvantoj da teksto kaj ĝia ĉefa tasko estas antaŭdiri la sekvan vortonĜi ne rezonas kiel homo: ĝi optimumigas probablecojn. Ĉi tiu mekanismo produktas koheran tekston, sed ĝi ankaŭ malfermas la pordon al inventado de detaloj.

Se la kunteksto estas ambigua aŭ la instrukcio sugestas ion sen subteno, la modelo emas plenigu la plej kredindan laŭ viaj parametroj. La rezulto eble ŝajnas bona, sed ĝi eble ne baziĝas sur konfirmeblaj, realaj faktoj.

Tio klarigas kial resuma generatoro povas aldoni informoj ne ĉeestantaj en la originalo aŭ kial aperas malveraj citaĵoj kaj referencoj: la sistemo ekstrapolas citaĵajn ŝablonojn sen kontroli ĉu la dokumento ekzistas.

Io simila okazas en bildigo: sen sufiĉa diverseco aŭ kun biasoj en la datumbazo, la modeloj povas produkti manoj kun ses fingroj, nelegebla teksto, aŭ nekoheraj aranĝoj. La vida sintakso taŭgas, sed la enhavo malsukcesas.

Realvivaj riskoj kaj efikoj

En ĵurnalismo kaj misinformado, konvinka iluzio povas esti plifortigita per duarangaj retoj kaj amaskomunikiloj. Fabrikita fraptitolo aŭ fakto kiu ŝajnas kredinda povas rapide disvastiĝi, malfaciligante postan korekton.

En la medicina kampo, malbone kalibrita sistemo povus konduki al interpretoj danĝera por la sano, de diagnozoj ĝis rekomendoj. La principo de prudento ne estas laŭvola ĉi tie.

Laŭleĝe, modeloj povas produkti utilajn skizojn, sed ankaŭ enmeti neekzistanta jurisprudenco aŭ malbone konstruitaj citaĵoj. Eraro povas havi gravajn sekvojn por proceduro.

En edukado, blinda fido al resumoj aŭ aŭtomataj respondoj povas daŭrigi koncipaj erarojLa ilo estas valora por lernado, kondiĉe ke ekzistas superrigardo kaj konfirmo.

Strategioj por mildigo: kio estas farata kaj kion vi povas fari

Ĉu halucinoj de artefarita inteligenteco povas esti evitataj, aŭ almenaŭ reduktitaj? Programistoj laboras sur pluraj tavoloj.

Unu el la unuaj estas plibonigi datenkvaliton: balancante fontojn, sencimigante erarojn, kaj ĝisdatigante korpusojn por redukti biasojn kaj breĉojn, kiuj instigas halucinojn. Aldonitaj al ĉi tio estas sistemoj de faktokontrolado (faktokontrolado) kaj pliigitaj reakiraj aliroj (ARA), kiuj devigas la modelon dependi de fidindaj dokumentaj bazoj, anstataŭ "imagaj" respondoj.

La alĝustigo kun homa retrosciigo (RLHF kaj aliaj variaĵoj) restas ŝlosila por puni damaĝajn, influitajn aŭ malĝustajn rezultojn, kaj por trejni la modelon en pli singardaj respondostiloj. Ili ankaŭ multiĝas fidindecaj avertoj en interfacoj, memorigante la uzanton, ke la respondo povas enhavi erarojn kaj ke estas ilia respondeco kontroli ĝin, precipe en sentemaj kuntekstoj.

Alia fronto en progreso estas la interpreteblecoSe sistemo povas klarigi la originon de aserto aŭ ligi al fontoj, la uzanto havas pli da iloj por taksi ĝian verecon antaŭ ol fidi ĝin. Por uzantoj kaj entreprenoj, kelkaj simplaj praktikoj faras diferencon: kontroli datumojn, peti... eksplicitaj fontoj, limigu uzon en altriskaj areoj, teni homojn "informitaj", kaj dokumentu reviziajn fluojn.

Konataj limigoj kaj avertoj de la fabrikantoj mem

La firmaoj respondecaj pri la modeloj rekonas limojn. En la kazo de GPT-4, ili estis eksplicite indikitaj. biasoj, halucinoj kaj kontraŭdiraj indikoj pri aktivaj laborkampoj.

Multaj el la komencaj problemoj en konsumantaj babilrobotoj estis reduktita kun ripetoj, sed eĉ sub idealaj kondiĉoj, nedezirindaj rezultoj povas okazi. Ju pli konvinka la prezento, des pli granda la risko de troa memfido.

Pro tio, granda parto de institucia komunikado insistas ne uzi ĉi tiujn ilojn por medicina aŭ jura konsilo sen fakula revizio, kaj ke ili estas probabilistaj asistantoj, ne neeraripovaj orakoloj.

Plej oftaj formoj de halucinoj

Jen la plej ofta maniero, kiel IA-halucinoj manifestiĝas:

• En teksto, oni ofte vidas inventitaj citaĵoj kaj bibliografiojLa modelo kopias la "ŝablonon" de referenco sed inventas kredindajn aŭtorojn, datojn aŭ titolojn.
• Fikciaj aŭ fikciaj eventoj ankaŭ aperas malĝustaj datoj en historiaj kronologioj. La kazo de la kronado de Karlo la 3-a ilustras kiel tempa detalo povas esti misprezentita sen ke la prozo perdu sian fluecon.
• Bildigitaj, klasikaj artefaktoj inkluzivas membroj kun neeblaj anatomioj, nelegeblaj tekstoj ene de la bildo aŭ spacaj faktkonfliktoj, kiuj restas nerimarkitaj je la unua ekrigardo.
• En tradukado, sistemoj povas inventi frazojn kiam oni alfrontas tre lokajn aŭ nekutimajn esprimojn, aŭ devigas ekvivalentojn, kiuj ne ekzistas en la cellingvo.

IA-halucinoj ne estas izolita fiasko sed emerĝa eco de probablaj sistemoj trejnitaj per neperfektaj datumoj. Rekoni ĝiajn kaŭzojn, lerni el realvivaj kazoj, kaj deploji teĥnikajn kaj procezajn mildigojn permesas al ni utiligi AI laŭ senchavaj manieroj sen perdi el vido la fakton, ke, kiom ajn fluida ĝi povas soni, respondo nur meritas fidon kiam ĝi havas konfirmeblan bazon.