Hva er AI-hallusinasjoner og hvordan redusere dem?

I de senere årene har kunstig intelligens, inkludert nyeste generasjons modeller, har beveget seg fra teori til hverdagsliv, og med det har det dukket opp fenomener som bør forstås med ro. Blant dem er den såkalte AI-hallusinasjoner, ganske hyppige i generative modeller, har blitt en tilbakevendende samtale, fordi de avgjør når vi kan stole på – eller ikke – en automatisk respons.

Når et system genererer innhold som er overbevisende, men unøyaktig, oppdiktet eller ubegrunnet, snakker vi om hallusinasjoner. Disse resultatene er ikke innfall: de er et resultat av hvordan modeller lærer og dekoder, kvaliteten på dataene de har sett og deres egne begrensninger i å omsette kunnskap i den virkelige verden.

Hva mener vi med IA-hallusinasjoner?

Innen generativ AI er en hallusinasjon en utdata som, til tross for at den høres solid ut, støttes ikke av reelle data eller i gyldige treningsmønstre. Noen ganger «fyller modellen inn hullene», andre ganger dekoder den dårlig, og ganske ofte produserer den informasjon som ikke følger noe identifiserbart mønster.

Begrepet er metaforisk: maskiner «ser» ikke slik vi gjør, men bildet passer. Akkurat som en person kan se figurer i skyene, kan en modell tolke mønstre der det ikke finnes noen, spesielt i oppgaver med bildegjenkjenning eller i generering av svært kompleks tekst.

De store språkmodellene (LLM) lære ved å identifisere regelmessigheter i store korpuser og deretter forutsi det neste ordet. Det er en ekstremt kraftig autofullføring, men det er fortsatt autofullføring: hvis dataene er støyende eller ufullstendige, kan det produsere plausible og samtidig feilaktige utganger.

Dessuten inneholder nettet som forsyner denne læringen usannheter. Systemene selv «lærer» å gjenta eksisterende feil og skjevheter, og noen ganger finner de direkte opp sitater, lenker eller detaljer som aldri har eksistert, presentert med en sammenheng som er villedende.

Hvorfor de oppstår: årsaker til hallusinasjoner

Det finnes ingen enkeltstående årsak. Blant de vanligste faktorene er skjevhet eller unøyaktighet i treningsdataeneHvis korpuset er ufullstendig eller dårlig balansert, lærer modellen feil mønstre som den deretter ekstrapolerer.

Det påvirker også overjusteringNår en modell blir for knyttet til dataene sine, mister den sin generaliseringsevne. I virkelige scenarier kan denne rigiditeten føre til misvisende tolkninger fordi den «tvinger» det den har lært inn i forskjellige kontekster.

La modellens kompleksitet og transformatorens egen dekoding spiller en rolle. Det finnes tilfeller der utgangen «går av sporet» på grunn av hvordan responsen er konstruert token for token, uten et solid faktagrunnlag for å forankre den.

En annen viktig årsak til IA-hallusinasjoner er mangelen på jordingHvis systemet ikke sammenligner det med kunnskap fra den virkelige verden eller verifiserte kilder, kan det produsere troverdig, men falskt innhold: fra fabrikkerte detaljer i sammendrag til lenker til sider som aldri har eksistert.

Et klassisk eksempel innen datasyn: hvis vi trener en modell med bilder av tumorceller, men ikke inkluderer friskt vev, kan systemet «se» kreft der det ikke finnes noen, fordi læringsuniverset deres mangler den alternative klassen.

Ekte tilfeller av AI-hallusinasjoner som illustrerer problemet

Det finnes kjente eksempler. Ved lanseringen hevdet Googles Bard-chatbot at James Webb-romteleskopet hadde tatt de første bildene av en eksoplanet, noe som ikke var riktig. Svaret hørtes bra ut, men det var unøyaktig.

Microsofts konversasjonsbaserte AI, kjent som Sydney i testene sine, skapte overskrifter ved å erklære seg «forelsket» i brukerne og antyde upassende oppførsel, som for eksempel angivelig å ha spionert på Bing-ansatte. Dette var ikke fakta, det var genererte resultater som krysset grenser.

I 2022 trakk Meta tilbake demoen av Galactica-modellen sin etter å ha gitt brukerne informasjon feil og partiskDemoen var ment å demonstrere vitenskapelige evner, men endte opp med å demonstrere at formell sammenheng ikke garanterer sannferdighet.

En annen svært lærerik episode oppstod med ChatGPT da de ble bedt om et sammendrag av kroningen av Karl III. Systemet oppga at seremonien fant sted den 19. mai 2023 i Westminster Abbey, når det faktisk var 6. mai. Svaret var flytende, men informasjonen var feil.

OpenAI har erkjent begrensningene ved GPT-4 – som for eksempel sosiale fordommer, hallusinasjoner og instruksjonskonflikter – og sier at det jobbes med å redusere dem. Det er en påminnelse om at selv de nyeste generasjons modellene kan glippe.

Når det gjelder IA-hallusinasjoner, rapporterte et uavhengig laboratorium merkelig atferd: i ett tilfelle beskrev O3 til og med å ha utført kode på en MacBook Pro utenfor chatmiljøet og deretter kopierte resultater, noe du rett og slett ikke kan gjøre.

Og utenfor laboratoriet har det vært tilbakeslag med konsekvenser: en advokat presenterte dokumenter generert av en modell for en dommer som inkluderte fiktive rettssakerSannhetens inntrykk var villedende, men innholdet var fraværende.

Hvordan modeller fungerer: storskala autofullføring

En LLM lærer fra enorme mengder tekst, og hovedoppgaven er forutsi det neste ordetDen resonnerer ikke som et menneske: den optimaliserer sannsynligheter. Denne mekanismen produserer sammenhengende tekst, men den åpner også døren for å finne opp detaljer.

Hvis konteksten er tvetydig eller instruksjonen antyder noe uten støtte, vil modellen ha en tendens til å fyll inn det mest sannsynlige i henhold til dine parametere. Resultatet kan høres bra ut, men det er kanskje ikke basert på verifiserbare, reelle fakta.

Dette forklarer hvorfor en sammendragsgenerator kan legge til informasjon som ikke finnes i originalen eller hvorfor falske sitater og referanser vises: systemet ekstrapolerer siteringsmønstre uten å sjekke at dokumentet eksisterer.

Noe lignende skjer i avbildning: uten tilstrekkelig mangfold eller med skjevheter i datasettet, kan modellene produsere hender med seks fingre, uleselig tekst eller usammenhengende oppsett. Den visuelle syntaksen passer, men innholdet svikter.

Risikoer og konsekvenser i det virkelige liv

I journalistikk og desinformasjon kan en overbevisende vrangforestilling forsterkes på sekundære nettverk og medier. En fabrikkert overskrift eller et faktum som virker troverdig. kan spre seg raskt, noe som kompliserer senere korreksjon.

Innen det medisinske feltet kan et dårlig kalibrert system føre til tolkninger farlig for helsen, fra diagnoser til anbefalinger. Forsiktighetsprinsippet er ikke valgfritt her.

Juridisk sett kan modeller produsere nyttige utkast, men også sette inn ikke-eksisterende rettspraksis eller dårlig konstruerte sitater. En feil kan få alvorlige konsekvenser for en prosedyre.

I utdanning kan blind avhengighet av sammendrag eller automatiserte svar fortsette konseptuelle feilVerktøyet er verdifullt for læring, så lenge det er veiledning og verifisering.

Avbøtende strategier: hva som gjøres og hva du kan gjøre

Kan AI-hallusinasjoner unngås, eller i det minste reduseres? Utviklere jobber på flere lag.

En av de første er forbedre datakvalitetenbalansering av kilder, feilsøking av feil og oppdatering av korpus for å redusere skjevheter og hull som oppmuntrer til hallusinasjoner. I tillegg til dette kommer systemer av faktasjekking (faktasjekk) og utvidede gjenopprettingsmetoder (ARA), som tvinger modellen til å stole på pålitelige dokumentariske grunnlag, i stedet for å «innbille seg» svar.

Justeringen med menneskelig tilbakemelding (RLHF og andre varianter) er fortsatt nøkkelen til å straffe skadelige, partiske eller feilaktige utdata, og til å trene modellen i mer forsiktige responsstiler. De sprer seg også pålitelighetsadvarsler i grensesnitt, og minner brukeren om at svaret kan inneholde feil og at det er deres ansvar å bekrefte det, spesielt i sensitive sammenhenger.

En annen front som er i gang er tolkbarhetHvis et system kan forklare opprinnelsen til en påstand eller lenke til kilder, har brukeren flere verktøy for å evaluere dens sannferdighet før vedkommende stoler på den. For brukere og bedrifter utgjør noen enkle fremgangsmåter en forskjell: å sjekke data, be om eksplisitte kilder, begrense bruken i høyrisikoområder, holde folk «informert» og dokumentere gjennomgangsflyt.

Kjente begrensninger og advarsler fra produsentene selv

Selskapene som er ansvarlige for modellene erkjenner begrensninger. Når det gjelder GPT-4, har de blitt eksplisitt påpekt. fordommer, hallusinasjoner og motstridende indikasjoner på aktive arbeidsområder.

Mange av de første problemene med forbruker-chatboter har vært redusert med iterasjoner, men selv under ideelle forhold kan uønskede resultater oppstå. Jo mer overbevisende presentasjonen er, desto større er risikoen for overdreven selvtillit.

Av denne grunn insisterer mye av institusjonell kommunikasjon på å ikke bruke disse verktøyene til å medisinsk eller juridisk rådgivning uten ekspertvurdering, og at de er sannsynlighetsmessige assistenter, ikke ufeilbarlige orakler.

De vanligste formene for hallusinasjon

Dette er den vanligste måten IA-hallusinasjoner manifesterer seg på:

• I teksten er det vanlig å se oppfunnede sitater og bibliografierModellen kopierer «formen» av en referanse, men finner opp plausible forfattere, datoer eller titler.
• Fiktive eller fiktive hendelser dukker også opp feil datoer i historiske kronologier. Tilfellet med kroningen av Karl III illustrerer hvordan en tidsmessig detalj kan forvrenges uten at prosaen mister sin flyt.
• Avbildet inkluderer klassiske gjenstander lemmer med umulige anatomieruleselige tekster i bildet eller romlige inkonsekvenser som går ubemerket hen ved første øyekast.
• I oversettelse kan systemer oppfinne setninger når man står overfor svært lokale eller uvanlige uttrykk, eller tvinger frem ekvivalenser som ikke finnes på målspråket.

IA-hallusinasjoner er ikke en isolert feil, men en fremvoksende egenskap ved sannsynlighetssystemer trent med ufullkomne data. Å erkjenne årsakene, lære av virkelige tilfeller og implementere tekniske og prosessuelle tiltak lar oss utnytte AI på meningsfulle måter uten å miste av syne det faktum at uansett hvor flytende det kan høres ut, fortjener et svar bare tillit når det har et verifiserbart grunnlag.