Wat is KI-hallusinasies en hoe kan dit verminder word?

In onlangse jare, kunsmatige intelligensie, insluitend nuutste generasie modelle, het van teorie na die alledaagse lewe beweeg, en daarmee saam het verskynsels ontstaan ​​wat kalm verstaan ​​moet word. Onder hulle is die sg. KI-hallusinasies, wat nogal gereeld in generatiewe modelle voorkom, het 'n herhalende gesprek geword, want hulle bepaal wanneer ons 'n outomatiese reaksie kan vertrou – of nie.

Wanneer 'n stelsel inhoud genereer wat oortuigend maar onakkuraat, vervaardig of ongegrond is, praat ons van hallusinasies. Hierdie uitsette is nie grille nie: hulle is die gevolg van hoe modelle leer en dekodeer, die kwaliteit van die data wat hulle gesien het en hul eie beperkings in die toepassing van kennis in die werklike wêreld.

Wat bedoel ons met IA-hallusinasies?

In die veld van generatiewe KI is 'n hallusinasie 'n uitset wat, ten spyte daarvan dat dit solied klink, word nie deur werklike data ondersteun nie of in geldige opleidingspatrone. Soms "vul die model die gapings in", ander kere dekodeer dit swak, en, heel dikwels, produseer dit inligting wat geen identifiseerbare patroon volg nie.

Die term is metafories: masjiene "sien" nie soos ons nie, maar die beeld pas. Net soos 'n mens kan sien figure in die wolke, 'n model kan patrone interpreteer waar daar geen is nie, veral in beeldherkenningstake of in die generering van hoogs komplekse teks.

Die groot taalmodelle (LLM) leer deur reëlmatighede in groot korpora te identifiseer en dan die volgende woord te voorspel. Dit is 'n uiters kragtige outovoltooiing, maar dit is steeds outovoltooi: as die data raserig of onvolledig is, kan dit geloofwaardige en terselfdertyd foutiewe uitsette lewer.

Verder bevat die web wat hierdie leer voed leuens. Die stelsels self "leer" om te herhaal bestaande foute en vooroordele, en soms vind hulle direk aanhalings, skakels of besonderhede uit wat nooit bestaan ​​het nie, aangebied met 'n samehang wat misleidend is.

Waarom hulle voorkom: oorsake van hallusinasies

Daar is geen enkele oorsaak nie. Van die mees algemene faktore is vooroordeel of onakkuraatheid in die opleidingsdataAs die korpus onvolledig of swak gebalanseerd is, leer die model verkeerde patrone wat dit dan ekstrapoleer.

Dit beïnvloed ook die ooraanpassingWanneer 'n model te geheg raak aan sy data, verloor dit sy veralgemeningsvermoë. In werklike scenario's kan hierdie rigiditeit lei tot misleidende interpretasies omdat dit dit wat dit geleer het, in verskillende kontekste "forseer".

La kompleksiteit van die model en die transformator se eie dekodering speel 'n rol. Daar is gevalle waar die uitset "van die spoor af raak" as gevolg van hoe die reaksie teken vir teken saamgestel word, sonder 'n soliede feitelike basis om dit te anker.

Nog 'n belangrike oorsaak van IA-hallusinasies is die gebrek aan aardingAs die stelsel dit nie vergelyk met werklike kennis of geverifieerde bronne nie, kan dit geloofwaardige maar valse inhoud produseer: van vervaardigde besonderhede in opsommings tot skakels na bladsye wat nooit bestaan ​​het nie.

'n Klassieke voorbeeld in rekenaarvisie: as ons 'n model oplei met beelde van tumorselle, maar nie gesonde weefsel insluit nie, kan die stelsel "sien" kanker waar daar niks is nie, omdat hul leerheelal die alternatiewe klas kort.

Werklike gevalle van KI-hallusinasies wat die probleem illustreer

Daar is bekende voorbeelde. By die bekendstelling daarvan het Google se Bard-kletsbot beweer dat James Webb Ruimteteleskoop het die eerste beelde van 'n eksoplaneet geneem, wat nie korrek was nie. Die antwoord het goed geklink, maar dit was onakkuraat.

Microsoft se gespreks-KI, bekend as Sydney in sy toetse, het opslae gemaak deur homself "verlief" op gebruikers te verklaar en voor te stel ongepaste gedrag, soos om na bewering op Bing-werknemers te spioeneer. Dit was nie feite nie, dit was gegenereerde uitsette wat grense oorskry het.

In 2022 het Meta die demonstrasie van sy Galactica-model onttrek nadat hulle gebruikers inligting verskaf het verkeerd en bevooroordeeldDie demonstrasie was bedoel om wetenskaplike vermoëns te demonstreer, maar het uiteindelik gedemonstreer dat formele samehang nie waarheid waarborg nie.

Nog 'n baie opvoedkundige episode het met ChatGPT plaasgevind toe dit gevra is vir 'n opsomming van die kroning van Karel III. Die stelsel het verklaar dat die seremonie plaasgevind het op 19 Mei 2023 in Westminster Abbey, terwyl dit in werklikheid op 6 Mei was. Die antwoord was vloeiend, maar die inligting was verkeerd.

OpenAI het die beperkings van GPT-4 erken — soos sosiale vooroordele, hallusinasies en instruksiekonflikte—en sê dit werk daaraan om dit te versag. Dit is 'n herinnering dat selfs die nuutste generasie modelle kan gly.

Wat IA-hallusinasies betref, het 'n onafhanklike laboratorium eienaardige gedrag gerapporteer: in een geval het O3 selfs beskryf dat hy uitgevoerde kode op 'n MacBook Pro buite die kletsomgewing en dan resultate gekopieer, iets wat jy eenvoudig nie kan doen nie.

En buite die laboratorium was daar terugslae met gevolge: 'n prokureur het dokumente wat deur 'n model gegenereer is, aan 'n regter voorgelê wat fiktiewe regsgevalle ingesluitDie skyn van waarheid was misleidend, maar die inhoud was afwesig.

Hoe modelle werk: grootskaalse outovoltooiing

'n LLM leer uit massiewe hoeveelhede teks en sy hooftaak is voorspel die volgende woordDit redeneer nie soos 'n mens nie: dit optimaliseer waarskynlikhede. Hierdie meganisme produseer samehangende teks, maar dit maak ook die deur oop vir die uitvind van besonderhede.

Indien die konteks dubbelsinnig is of die instruksie iets sonder ondersteuning suggereer, sal die model geneig wees om vul die mees aanneemlike in volgens jou parameters. Die resultaat mag dalk goed klink, maar dit mag nie gegrond wees op verifieerbare, werklike feite nie.

Dit verklaar waarom 'n opsommingsgenerator kan byvoeg inligting wat nie in die oorspronklike voorkom nie of hoekom valse aanhalings en verwysings verskyn: die stelsel ekstrapoleer aanhalingspatrone sonder om te kontroleer dat die dokument bestaan.

Iets soortgelyks gebeur in beeldvorming: sonder voldoende diversiteit of met vooroordele in die datastel, kan die modelle produseer hande met ses vingers, onleesbare teks, of onsamehangende uitlegte. Die visuele sintaksis pas, maar die inhoud faal.

Werklike risiko's en impakte

In joernalistiek en disinformasie kan 'n oortuigende waan op sekondêre netwerke en media versterk word. 'n Versinde opskrif of feit wat aanneemlik lyk. kan vinnig versprei, wat daaropvolgende regstelling bemoeilik.

In die mediese veld kan 'n swak gekalibreerde stelsel tot interpretasies lei gevaarlik vir die gesondheid, van diagnoses tot aanbevelings. Die beginsel van versigtigheid is hier nie opsioneel nie.

In regsterme kan modelle nuttige konsepte lewer, maar ook invoeg nie-bestaande jurisprudensie of swak gekonstrueerde aanhalings. 'n Fout kan ernstige gevolge vir 'n prosedure inhou.

In onderwys kan blindelingse vertroue op opsommings of outomatiese antwoorde voortduur konseptuele fouteDie instrument is waardevol vir leer, solank daar toesig en verifikasie is.

Versagtingsstrategieë: wat word gedoen en wat jy kan doen

Kan KI-hallusinasies vermy word, of ten minste verminder word? Ontwikkelaars werk op verskeie lae.

Een van die eerstes is verbeter datakwaliteit: balansering van bronne, ontfoutingsfoute en opdatering van korpora om vooroordele en gapings wat hallusinasies aanmoedig, te verminder. Hierby word stelsels van feitekontrole (feitekontrole) en augmented recovery approaches (ARA), wat die model dwing om op betroubare dokumentêre basisse staat te maak, in plaas van om antwoorde te "verbeel".

Die aanpassing met menslike terugvoer (RLHF en ander variante) bly die sleutel tot die penalisering van skadelike, bevooroordeelde of verkeerde uitsette, en om die model op te lei in meer versigtige reaksiestyle. Hulle vermeerder ook betroubaarheidswaarskuwings in koppelvlakke, wat die gebruiker daaraan herinner dat die reaksie foute kan bevat en dat dit hul verantwoordelikheid is om dit te verifieer, veral in sensitiewe kontekste.

Nog 'n front wat aan die gang is, is die interpreteerbaarheidAs 'n stelsel die oorsprong van 'n bewering of skakel na bronne kan verduidelik, het die gebruiker meer gereedskap om die waarheid daarvan te evalueer voordat dit vertrou word. Vir gebruikers en besighede maak 'n paar eenvoudige praktyke 'n verskil: data nagaan, vra vir eksplisiete bronne, beperk gebruik in hoërisiko-gebiede, hou mense “in die lus” en dokumenthersieningsvloei.

Bekende beperkings en waarskuwings van die vervaardigers self

Die maatskappye wat verantwoordelik is vir die modelle erken beperkings. In die geval van GPT-4 is dit eksplisiet uitgewys. vooroordele, hallusinasies en teenstrydige aanduidings oor aktiewe werkareas.

Baie van die aanvanklike probleme in verbruikers-kletsbots was verminder met iterasies, maar selfs onder ideale omstandighede kan ongewenste resultate voorkom. Hoe meer oortuigend die aanbieding is, hoe groter is die risiko van oormatige selfvertroue.

Om hierdie rede dring baie van institusionele kommunikasie daarop aan om nie hierdie instrumente te gebruik om mediese of regsadvies sonder kundige oorsig, en dat hulle waarskynlikheidsassistente is, nie onfeilbare orakels nie.

Mees algemene vorme van hallusinasie

Dit is die mees algemene manier waarop IA-hallusinasies manifesteer:

• In teks is dit algemeen om te sien uitgevinde aanhalings en bibliografieëDie model kopieer die "vorm" van 'n verwysing, maar vind geloofwaardige outeurs, datums of titels uit.
• Fiktiewe of fiktiewe gebeurtenisse verskyn ook verkeerde datums in historiese chronologieë. Die geval van die kroning van Karel III illustreer hoe 'n temporale detail verdraai kan word sonder dat die prosa sy vloeibaarheid verloor.
• Afgebeeld, klassieke artefakte sluit in ledemate met onmoontlike anatomieë, onleesbare tekste binne die beeld of ruimtelike teenstrydighede wat met die eerste oogopslag ongemerk bly.
• In vertaling kan stelsels sinne uitvind wanneer hulle te doen kry met baie plaaslike of ongewone uitdrukkings, of wanneer hulle ekwivalensies afdwing wat nie in die teikentaal bestaan ​​nie.

IA-hallusinasies is nie 'n geïsoleerde mislukking nie, maar 'n opkomende eienskap van probabilistiese stelsels opgelei met onvolmaakte data. Deur die oorsake daarvan te erken, uit werklike gevalle te leer, en tegniese en prosesversagtingsmaatreëls te ontplooi, kan ons KI op betekenisvolle maniere benut sonder om die feit uit die oog te verloor dat, ongeag hoe vloeiend dit mag klink, 'n antwoord slegs vertroue verdien wanneer dit verifieerbare grondslag het.