Hvad er AI-hallucinationer, og hvordan reducerer man dem?

I de senere år har kunstig intelligens, herunder modelos de última generación, har bevæget sig fra teori til hverdagsliv, og med den er der opstået fænomener, som bør forstås roligt. Blandt dem er den såkaldte alucinaciones IA, ret hyppige i generative modeller, er blevet en tilbagevendende samtale, fordi de bestemmer, hvornår vi kan stole på – eller ej – en automatisk reaktion.

Når et system genererer indhold, der er overbevisende, men unøjagtigt, opdigtet eller udokumenteret, taler vi om hallucinationer. Disse output er ikke luner: de er resultatet af hvordan modeller lærer og afkoder, kvaliteten af ​​de data, de har set, og deres egne begrænsninger i forhold til at anvende viden i den virkelige verden.

Hvad mener vi med IA-hallucinationer?

Inden for generativ AI er en hallucination et output, der, på trods af at det lyder solidt, understøttes ikke af reelle data eller i gyldige træningsmønstre. Nogle gange "udfylder modellen hullerne", andre gange afkoder den dårligt, og ret ofte producerer den information, der ikke følger noget identificerbart mønster.

Udtrykket er metaforisk: maskiner "ser" ikke, som vi gør, men billedet passer. Ligesom en person kan se figurer i skyerne, kan en model fortolke mønstre, hvor der ingen er, især i billedgenkendelsesopgaver eller i genereringen af ​​meget kompleks tekst.

De store sprogmodeller (LLM) lære ved at identificere regelmæssigheder i store korpus og derefter forudsige det næste ord. Det er en ekstremt kraftfuld autofuldførelse, men det er stadig autofuldførelse: hvis dataene er støjende eller ufuldstændige, kan det producere plausible og samtidig fejlagtige output.

Desuden indeholder nettet, der nærer denne læring, usandheder. Systemerne selv "lærer" at gentage eksisterende fejl og bias, og nogle gange opfinder de direkte citater, links eller detaljer, der aldrig har eksisteret, præsenteret med en sammenhæng, der er vildledende.

Hvorfor de opstår: årsager til hallucinationer

Der er ikke én enkelt årsag. Blandt de mest almindelige faktorer er bias eller unøjagtighed i træningsdataeneHvis korpuset er ufuldstændigt eller dårligt afbalanceret, lærer modellen forkerte mønstre, som den derefter ekstrapolerer.

Det påvirker også sobreajusteNår en model bliver for knyttet til sine data, mister den sin generaliseringsevne. I virkelige scenarier kan denne rigiditet føre til misvisende fortolkninger, fordi den "tvinger" det, den har lært, ind i forskellige kontekster.

La complejidad del modelo og transformerens egen afkodning spiller en rolle. Der er tilfælde, hvor outputtet "går af sporet" på grund af hvordan svaret er konstrueret token for token, uden et solidt faktuelt grundlag for at forankre det.

En anden vigtig årsag til IA-hallucinationer er manglen på jordforbindelseHvis systemet ikke sammenligner det med viden fra den virkelige verden eller verificerede kilder, kan det producere plausibelt, men falsk indhold: fra opdigtede detaljer i resuméer til links til sider, der aldrig har eksisteret.

Et klassisk eksempel inden for computer vision: Hvis vi træner en model med billeder af tumorceller, men ikke inkluderer sundt væv, kan systemet "se" kræft, hvor der ingen er, fordi deres læringsunivers mangler den alternative klasse.

Virkelige tilfælde af AI-hallucinationer, der illustrerer problemet

Der er berømte eksempler. Ved lanceringen hævdede Googles Bard-chatbot, at telescopio espacial James Webb havde taget de første billeder af en exoplanet, hvilket ikke var korrekt. Svaret lød godt, men det var unøjagtigt.

Microsofts konversationsbaserede AI, kendt som Sydney i sine tests, skabte overskrifter ved at erklære sig "forelsket" i brugerne og foreslå upassende adfærd, såsom angiveligt at have spioneret på Bing-medarbejdere. Dette var ikke fakta, det var genererede output, der krydsede grænser.

I 2022 trak Meta demoen af ​​sin Galactica-model tilbage efter at have givet brugerne oplysninger forkert og partiskDemoen havde til formål at demonstrere videnskabelige evner, men endte med at demonstrere, at formel sammenhæng ikke garanterer sandfærdighed.

En anden meget lærerig episode opstod med ChatGPT, da de blev bedt om et resumé af Karl III's kroning. Systemet oplyste, at ceremonien fandt sted den 19. maj 2023 i Westminster Abbey, når det faktisk var den 6. maj. Svaret var uklar, men informationen var forkert.

OpenAI har anerkendt begrænsningerne ved GPT-4 – såsom sociale fordomme, hallucinationer og instruktionskonflikter – og siger, at den arbejder på at afbøde dem. Det er en påmindelse om, at selv de nyeste generationer af modeller kan fejle.

Vedrørende IA-hallucinationer rapporterede et uafhængigt laboratorium mærkelige adfærdsmønstre: i ét tilfælde beskrev O3 endda at have udført kode på en MacBook Pro uden for chatmiljøet og derefter kopieret resultater, noget man simpelthen ikke kan.

Og uden for laboratoriet har der været tilbageslag med konsekvenser: en advokat præsenterede dokumenter genereret af en model for en dommer, der inkluderede fiktive retssagerSandhedens indtryk var bedragerisk, men indholdet var ikke-eksisterende.

Sådan fungerer modeller: storstilet autofuldførelse

En LLM lærer fra enorme mængder tekst, og dens hovedopgave er forudsig det næste ordDen ræsonnerer ikke som et menneske: den optimerer sandsynligheder. Denne mekanisme producerer sammenhængende tekst, men den åbner også døren for at opfinde detaljer.

Hvis konteksten er tvetydig, eller instruktionen antyder noget uden støtte, vil modellen have en tendens til at udfyld det mest sandsynlige i henhold til dine parametre. Resultatet lyder måske godt, men det er måske ikke baseret på verificerbare, reelle fakta.

Dette forklarer, hvorfor en opsummeringsgenerator kan tilføje oplysninger, der ikke findes i originalen eller hvorfor falske citater og referencer vises: systemet ekstrapolerer citeringsmønstre uden at kontrollere, at dokumentet eksisterer.

Noget lignende sker i billeddannelse: uden tilstrækkelig diversitet eller med bias i datasættet kan modellerne producere hænder med seks fingre, ulæselig tekst eller usammenhængende layout. Den visuelle syntaks passer, men indholdet fejler.

Risici og konsekvenser i det virkelige liv

I journalistik og desinformation kan en overbevisende vrangforestilling forstærkes på sekundære netværk og medier. En opdigtet overskrift eller kendsgerning, der virker plausibel. kan sprede sig hurtigt, hvilket komplicerer den efterfølgende korrektion.

Inden for det medicinske område kan et dårligt kalibreret system føre til fortolkninger peligrosas para la salud, fra diagnoser til anbefalinger. Forsigtighedsprincippet er ikke valgfrit her.

Juridisk set kan modeller producere nyttige udkast, men også indsætte ikke-eksisterende retspraksis eller dårligt konstruerede citater. En fejl kan have alvorlige konsekvenser for en procedure.

I uddannelse kan blind afhængighed af resuméer eller automatiserede svar fortsætte errores conceptualesVærktøjet er værdifuldt til læring, så længe der er supervision og verifikation.

Afbødende strategier: hvad der gøres, og hvad du kan gøre

Kan AI-hallucinationer undgås, eller i det mindste reduceres? Udviklere arbejder på flere lag.

Una de las primeras es forbedre datakvaliteten: afbalancering af kilder, fejlfinding og opdatering af korpus for at reducere bias og huller, der fremmer hallucinationer. Derudover er der systemer af verificación de hechos (faktatjek) og augmented recovery-tilgange (ARA), som tvinger modellen til at stole på pålidelige dokumentariske grundlag i stedet for at "forestille sig" svar.

Justeringen med menneskelig feedback (RLHF og andre varianter) er fortsat nøglen til at straffe skadelige, forudindtagede eller ukorrekte output og til at træne modellen i mere forsigtige reaktionsstile. De spreder sig også pålidelighedsadvarsler i grænseflader, der minder brugeren om, at svaret kan indeholde fejl, og at det er deres ansvar at verificere det, især i følsomme sammenhænge.

En anden front i fremgang er fortolkelighedHvis et system kan forklare oprindelsen af ​​en påstand eller et link til kilder, har brugeren flere værktøjer til at evaluere dens sandfærdighed, før vedkommende stoler på den. For brugere og virksomheder kan nogle enkle fremgangsmåder gøre en forskel: at kontrollere data, bede om eksplicitte kilder, begrænse brugen i højrisikoområder, holde mennesker "informeret" og dokumentere gennemgangsflow.

Kendte begrænsninger og advarsler fra producenterne selv

De virksomheder, der er ansvarlige for modellerne, erkender begrænsninger. I tilfældet med GPT-4 er de blevet eksplicit påpeget. bias, hallucinationer og modstridende indikationer vedrørende aktive arbejdsområder.

Mange af de indledende problemer i forbruger-chatbots har været reduceret med iterationer, men selv under ideelle forhold kan der forekomme uønskede resultater. Jo mere overbevisende præsentationen er, desto større er risikoen for overdreven selvtillid.

Af denne grund insisterer en stor del af den institutionelle kommunikation på ikke at bruge disse værktøjer til at lægelig eller juridisk rådgivning uden ekspertgennemgang, og at de er probabilistiske assistenter, ikke ufejlbarlige orakler.

De mest almindelige former for hallucinationer

Dette er den mest almindelige måde, hvorpå IA-hallucinationer manifesterer sig:

• I teksten er det almindeligt at se opfundne citater og bibliografierModellen kopierer "formen" af en reference, men opfinder plausible forfattere, datoer eller titler.
• Fiktive eller fiktive begivenheder optræder også forkerte datoer i historiske kronologier. Tilfældet med Karl III's kroning illustrerer, hvordan en tidsmæssig detalje kan forvrænges, uden at prosaen mister sin flydende karakter.
• Afbildet inkluderer klassiske artefakter lemmer med umulige anatomier, ulæselige tekster i billedet eller rumlige uoverensstemmelser, der går ubemærket hen ved første øjekast.
• I oversættelse kan systemer opfinde sætninger når man står over for meget lokale eller usædvanlige udtryk, eller når man fremtvinger ækvivalenser, der ikke findes på målsproget.

IA-hallucinationer er ikke en isoleret fejl, men en fremvoksende egenskab ved probabilistiske systemer trænet med ufuldkomne data. Ved at erkende dens årsager, lære af virkelige cases og implementere tekniske og procesmæssige afbødninger kan vi udnytte AI på meningsfulde måder uden at miste synet på, at uanset hvor flydende det end lyder, fortjener et svar kun tillid, når det har et verificerbart grundlag.