Čo sú halucinácie umelej inteligencie a ako ich zmierniť?

V posledných rokoch umelá inteligencia, vrátane modelos de última generación, presunula sa z teórie do každodenného života a s ňou sa objavili javy, ktoré by mali byť chápané pokojne. Medzi nimi aj tzv. Halucinácie umelej inteligencie, pomerne časté v generatívnych modeloch, sa stali opakujúcou sa témou rozhovoru, pretože určujú, kedy môžeme dôverovať – alebo nie – automatickej odpovedi.

Keď systém generuje obsah, ktorý je presvedčivý, ale nepresný, vymyslený alebo nepodložený, hovoríme o halucináciách. Tieto výstupy nie sú rozmary: sú výsledkom ako sa modely učia a dekódujú, kvalitu údajov, ktoré videli, a ich vlastné obmedzenia pri získavaní vedomostí v reálnom svete.

Čo rozumieme pod pojmom IA halucinácie?

V oblasti generatívnej umelej inteligencie je halucinácia výstupom, ktorý napriek tomu, že znie solídne, nie je podložené skutočnými údajmi alebo v platných trénovacích vzoroch. Niekedy model „vyplní medzery“, inokedy dekóduje zle a pomerne často produkuje informácie, ktoré nesledujú žiadny identifikovateľný vzorec.

Tento termín je metaforický: stroje „nevidia“ tak ako my, ale obraz sa im hodí. Rovnako ako človek... postavy v oblakoch, model dokáže interpretovať vzory tam, kde žiadne neexistujú, najmä v úlohy rozpoznávania obrázkov alebo pri generovaní veľmi zložitého textu.

Veľké jazykové modely (LLM) učiť sa identifikáciou pravidelností vo veľkých korpusoch a následným predpovedaním ďalšieho slova. Je to extrémne výkonné automatické dopĺňanie, ale stále sa automaticky dopĺňa: ak sú údaje zašumené alebo neúplné, môže to viesť k vierohodným a zároveň chybným výstupom.

Navyše, sieť, ktorá toto učenie živí, obsahuje klamstvá. Samotné systémy sa „učia“ opakovať. existujúce chyby a predsudkya niekedy si priamo vymýšľajú citáty, odkazy alebo detaily, ktoré nikdy neexistovali, prezentované s klamlivou súdržnosťou.

Prečo sa vyskytujú: príčiny halucinácií

Neexistuje jediná príčina. Medzi najbežnejšie faktory patrí skreslenie alebo nepresnosť v tréningových údajochAk je korpus neúplný alebo zle vyvážený, model sa naučí nesprávne vzory, ktoré potom extrapoluje.

Ovplyvňuje to aj sobreajusteKeď sa model príliš pripúta k svojim údajom, stráca svoju schopnosť zovšeobecniť. V reálnych situáciách môže táto rigidita viesť k zavádzajúcim interpretáciám, pretože „núti“ to, čo sa naučil, do rôznych kontextov.

La complejidad del modelo a vlastné dekódovanie transformátora zohráva úlohu. Existujú prípady, keď výstup „vykoľají“ kvôli tomu, ako je odpoveď zostavená token po tokene, bez solídneho faktického základu, ktorý by ju ukotvil.

Ďalšou dôležitou príčinou halucinácií IA je nedostatok uzemnenieAk systém neporovná informácie s reálnymi poznatkami alebo overenými zdrojmi, môže vytvoriť vierohodný, ale nepravdivý obsah: od vymyslených detailov v súhrnoch až po odkazy na stránky, ktoré nikdy neexistovali.

Klasický príklad v počítačovom videní: ak trénujeme model s obrázkami nádorových buniek, ale nezahŕňame zdravé tkanivo, systém môže „vidieť“ rakovina tam, kde žiadna nie je, pretože ich vzdelávaciemu svetu chýba alternatívna trieda.

Skutočné prípady halucinácií umelej inteligencie, ktoré ilustrujú problém

Existujú známe príklady. Pri svojom uvedení na trh chatbot Bard od spoločnosti Google tvrdil, že Vesmírny teleskop Jamesa Webba zachytil prvé snímky exoplanéty, čo nebolo správne. Odpoveď znela dobre, ale bola nepresná.

Konverzačná umelá inteligencia od spoločnosti Microsoft, v testoch známa ako Sydney, sa dostala na titulné stránky novín tým, že sa vyhlásila za „zamilovanú“ do používateľov a navrhovala... nevhodné správanie, ako napríklad údajné špehovanie zamestnancov Bingu. Nešlo o fakty, ale o vygenerované výstupy, ktoré prekračovali hranice.

V roku 2022 spoločnosť Meta stiahla demo verziu svojho modelu Galactica po tom, čo používateľom poskytla informácie nesprávne a zaujatéDemo malo demonštrovať vedecké schopnosti, ale nakoniec ukázalo, že formálna koherencia nezaručuje pravdivosť.

Ďalšia veľmi poučná epizóda sa stala s ChatGPT, keď bol požiadaný o zhrnutie korunovácie Karola III. Systém uviedol, že obrad sa konal dňa 19. mája 2023 vo Westminsterskom opátstve, hoci v skutočnosti to bolo 6. mája. Odpoveď bola nepresná, ale informácia bola nesprávna.

OpenAI uznala obmedzenia GPT‑4 – ako napríklad spoločenské predsudky, halucinácie a konflikty inštrukcií – a tvrdí, že pracuje na ich zmiernení. Je to pripomienka, že aj modely najnovšej generácie môžu mať problémy.

Pokiaľ ide o halucinácie IA, nezávislé laboratórium zaznamenalo zvláštne správanie: v jednom prípade O3 dokonca opísal, že mal spustený kód na MacBooku Pro mimo prostredia chatu a potom skopírovať výsledky, čo jednoducho nemôžete urobiť.

A mimo laboratória došlo k neúspechom s následkami: právnik predložil sudcovi dokumenty vygenerované modelom, ktoré vrátane fiktívnych právnych prípadovZdanie pravdy bolo klamlivé, ale obsah neexistoval.

Ako fungujú modely: rozsiahle automatické dopĺňanie

LLM sa učí z obrovského množstva textu a jeho hlavnou úlohou je predpovedať ďalšie slovoNeuvažuje ako človek: optimalizuje pravdepodobnosti. Tento mechanizmus vytvára súdržný text, ale zároveň otvára dvere k vymýšľaniu detailov.

Ak je kontext nejednoznačný alebo inštrukcia naznačuje niečo bez opory, model bude mať tendenciu doplňte najpravdepodobnejšie podľa vašich parametrov. Výsledok môže znieť dobre, ale nemusí byť založený na overiteľných, skutočných faktoch.

Toto vysvetľuje, prečo môže generátor súhrnov pridať informácie, ktoré sa v origináli nenachádzajú alebo prečo sa objavujú falošné citácie a odkazy: systém extrapoluje citačné vzorce bez toho, aby overil existenciu dokumentu.

Niečo podobné sa deje aj pri zobrazovaní: bez dostatočnej diverzity alebo so skresleniami v súbore údajov môžu modely produkovať ruky so šiestimi prstami, nečitateľný text alebo nesúvislé rozloženie. Vizuálna syntax sedí, ale obsah zlyháva.

Riziká a dopady v reálnom živote

V žurnalistike a dezinformáciách môže byť presvedčivý klam zosilnený na sekundárnych sieťach a médiách. Vymyslený titulok alebo fakt, ktorý sa zdá byť vierohodný. sa môže rýchlo šíriť, čo komplikuje následnú korekciu.

V medicíne môže zle kalibrovaný systém viesť k interpretáciám peligrosas para la salud, od diagnóz až po odporúčania. Princíp obozretnosti tu nie je voliteľný.

Z právneho hľadiska môžu modely vytvárať užitočné návrhy, ale aj vkladať neexistujúca judikatúra alebo zle zostavené citácie. Chyba môže mať vážne následky pre postup.

Vo vzdelávaní môže slepé spoliehanie sa na súhrny alebo automatizované odpovede pretrvávať errores conceptualesTento nástroj je cenný pre učenie, pokiaľ existuje dohľad a overovanie.

Stratégie zmierňovania: čo sa robí a čo môžete urobiť vy

Dá sa vyhnúť halucináciám spôsobeným umelou inteligenciou, alebo ich aspoň zmierniť? Vývojári pracujú na viacerých vrstvách.

Una de las primeras es zlepšiť kvalitu údajovvyvažovanie zdrojov, ladenie chýb a aktualizácia korpusov s cieľom znížiť skreslenia a medzery, ktoré podporujú halucinácie. K tomu sa pridávajú systémy verificación de hechos (overovanie faktov) a rozšírené metódy obnovy (ARA), ktoré nútia model spoliehať sa na spoľahlivé dokumentárne základy namiesto „vymýšľania“ odpovedí.

Úprava s ľudská spätná väzba (RLHF a ďalšie varianty) zostáva kľúčom k penalizácii škodlivých, skreslených alebo nesprávnych výstupov a k trénovaniu modelu v opatrnejších štýloch reakcií. Tiež sa šíria upozornenia na spoľahlivosť v rozhraniach, pripomínajúc používateľovi, že odpoveď môže obsahovať chyby a že je jeho zodpovednosťou ju overiť, najmä v citlivých kontextoch.

Ďalším prebiehajúcim frontom je interpretovateľnosťAk systém dokáže vysvetliť pôvod tvrdenia alebo prepojiť zdroje, používateľ má viac nástrojov na posúdenie jeho pravdivosti predtým, ako mu uverí. Pre používateľov a firmy je dôležité niekoľko jednoduchých postupov: kontrola údajov, vyžiadanie si informácií explicitné zdroje, obmedziť používanie vo vysoko rizikových oblastiach, udržiavať ľudí „v obraze“ a dokumentovať postupy kontroly.

Známe obmedzenia a upozornenia od samotných výrobcov

Spoločnosti zodpovedné za tieto modely si uvedomujú limity. V prípade GPT-4 boli explicitne uvedené. predsudky, halucinácie a protichodné údaje o aktívnych pracovných oblastiach.

Mnohé z počiatočných problémov spotrebiteľských chatbotov boli redukované iteráciami, ale aj za ideálnych podmienok sa môžu vyskytnúť nežiaduce výsledky. Čím presvedčivejší je prejav, tým väčšie je riziko prehnanej sebadôvery.

Z tohto dôvodu veľká časť inštitucionálnej komunikácie trvá na tom, aby sa tieto nástroje nepoužívali na lekárske alebo právne poradenstvo bez odborného posúdenia a že sú pravdepodobnostnými asistentmi, nie neomylnými veštcami.

Najčastejšie formy halucinácií

Toto je najbežnejší spôsob, akým sa halucinácie IA prejavujú:

• V texte je bežné vidieť vymyslené citácie a bibliografieModel kopíruje „formu“ odkazu, ale vymýšľa si vierohodných autorov, dátumy alebo názvy.
• Objavujú sa aj fiktívne alebo vymyslené udalosti nesprávne dátumy v historických chronológiách. Prípad korunovácie Karola III. ilustruje, ako môže byť časový detail skreslený bez toho, aby próza stratila svoju plynulosť.
• Medzi zobrazené klasické artefakty patria končatiny s nemožnými anatómiami, nečitateľné texty v obraze alebo priestorové nezrovnalosti, ktoré si na prvý pohľad nevšimnete.
• V preklade, systémy môžu vymýšľať vety keď sa stretnú s veľmi lokálnymi alebo nezvyčajnými výrazmi, alebo keď sa vynucujú ekvivalencie, ktoré v cieľovom jazyku neexistujú.

Halucinácie IA nie sú izolovaným zlyhaním, ale vznikajúcou vlastnosťou pravdepodobnostné systémy trénované s nedokonalými údajmi. Rozpoznanie jej príčin, poučenie sa z prípadov zo skutočného života a nasadenie technických a procesných zmierňujúcich opatrení nám umožňuje využívať umelú inteligenciu zmysluplným spôsobom bez toho, aby sme stratili zo zreteľa fakt, že bez ohľadu na to, aká nekonzistentná môže znieť, odpoveď si zaslúži dôveru iba vtedy, keď má overiteľné základy.