Što su AI halucinacije i kako ih smanjiti?

Posljednjih godina, umjetna inteligencija, uključujući modeli najnovije generacije, premjestila se iz teorije u svakodnevni život, a s njom su se pojavile pojave koje treba smireno razumjeti. Među njima su i tzv. Halucinacije umjetne inteligencije, prilično česti u generativnim modelima, postali su ponavljajuća tema razgovora jer određuju kada možemo vjerovati - ili ne - automatskom odgovoru.

Kada sustav generira sadržaj koji je uvjerljiv, ali netočan, izmišljen ili neutemeljen, govorimo o halucinacijama. Ti izlazi nisu hirovi: oni su rezultat kako modeli uče i dekodiraju, kvalitetu podataka koje su vidjeli i vlastita ograničenja u stjecanju znanja u stvarnom svijetu.

Što podrazumijevamo pod IA halucinacijama?

U području generativne umjetne inteligencije, halucinacija je izlaz koji, unatoč tome što zvuči solidno, nije potkrijepljeno stvarnim podacima ili u valjanim obrascima učenja. Ponekad model "popunjava praznine", drugi put loše dekodira i, prilično često, proizvodi informacije koje ne slijede nijedan prepoznatljivi obrazac.

Izraz je metaforičan: strojevi ne "vide" kao mi, ali slika odgovara. Baš kao što osoba može vidjeti figure u oblacima, model može interpretirati obrasce tamo gdje ih nema, posebno u zadaci prepoznavanja slika ili u generiranju vrlo složenog teksta.

Veliki jezični modeli (LLM) učiti identificiranjem pravilnosti u velikim korpusima, a zatim predviđanjem sljedeće riječi. To je izuzetno moćno automatsko dovršavanje, ali se i dalje samodovršava: ako su podaci puni šuma ili nepotpuni, može proizvesti uvjerljive i istovremeno pogrešne izlaze.

Nadalje, mreža koja hrani ovo učenje sadrži laži. Sami sustavi "uče" ponavljati postojeće pogreške i pristranosti, a ponekad izravno izmišljaju citate, poveznice ili detalje koji nikada nisu postojali, predstavljene s varljivom koherentnošću.

Zašto se javljaju: uzroci halucinacija

Ne postoji jedan uzrok. Među najčešćim čimbenicima je pristranost ili netočnost u podacima za obukuAko je korpus nepotpun ili loše uravnotežen, model uči netočne obrasce koje zatim ekstrapolira.

Također utječe na pretjerano podešavanjeKada model postane previše vezan za svoje podatke, gubi sposobnost generalizacije. U stvarnim scenarijima, ta rigidnost može dovesti do obmanjujućih tumačenja jer "prisiljava" ono što je naučio u različite kontekste.

La složenost modela i vlastito dekodiranje transformatora igra ulogu. Postoje slučajevi kada izlaz "izvan tračnica" zbog načina na koji je odgovor konstruiran token po token, bez čvrste činjenične osnove za njegovo usidravanje.

Drugi važan uzrok IA halucinacija je nedostatak uzemljenjeAko sustav to ne usporedi sa stvarnim znanjem ili provjerenim izvorima, može proizvesti uvjerljiv, ali lažan sadržaj: od izmišljenih detalja u sažecima do poveznica na stranice koje nikada nisu postojale.

Klasičan primjer u računalnom vidu: ako treniramo model sa slikama tumorskih stanica, ali ne uključujemo zdravo tkivo, sustav bi mogao „vidjeti“ rak tamo gdje ga nema, jer njihovom svemiru učenja nedostaje alternativna klasa.

Pravi slučajevi halucinacija umjetne inteligencije koji ilustriraju problem

Postoje poznati primjeri. Prilikom svog lansiranja, Googleov Bard chatbot tvrdio je da Svemirski teleskop James Webb snimio je prve slike egzoplaneta, što nije bilo točno. Odgovor je zvučao dobro, ali je bio netočan.

Microsoftova konverzacijska umjetna inteligencija, poznata kao Sydney u svojim testovima, dospjela je na naslovnice proglasivši se "zaljubljenom" u korisnike i predlažući neprimjereno ponašanje, poput navodnog špijuniranja zaposlenika Binga. To nisu bile činjenice, već generirani rezultati koji su prelazili granice.

Meta je 2022. godine povukla demo verziju svog modela Galactica nakon što je korisnicima pružila informacije netočno i pristranoDemonstracija je trebala demonstrirati znanstvene sposobnosti, ali je na kraju pokazala da formalna koherentnost ne jamči istinitost.

Još jedna vrlo edukativna epizoda dogodila se s ChatGPT-om kada je zatražen sažetak krunidbe Karla III. Sustav je naveo da se ceremonija održala 19. svibnja 2023. u Westminsterskoj opatiji, a zapravo je to bilo 6. svibnja. Odgovor je bio nejasan, ali informacija je bila pogrešna.

OpenAI je priznao ograničenja GPT-4 - kao što su društvene predrasude, halucinacije i sukobe uputa - i kaže da radi na njihovom ublažavanju. To je podsjetnik da čak i modeli najnovije generacije mogu pogriješiti.

Što se tiče IA halucinacija, neovisni laboratorij izvijestio je o neobičnim ponašanjima: u jednom slučaju, O3 je čak opisao da ima izvršeni kod na MacBook Pro računalu izvan okruženja za chat, a zatim kopirali rezultate, nešto što jednostavno ne možete učiniti.

I izvan laboratorija bilo je neuspjeha s posljedicama: odvjetnik je sucu predstavio dokumente generirane modelom koji uključeni fiktivni pravni slučajeviPrivid istine bio je varljiv, ali sadržaj nije postojao.

Kako modeli funkcioniraju: automatsko dovršavanje velikih razmjera

LLM uči iz ogromnih količina teksta i njegov glavni zadatak je predvidjeti sljedeću riječNe razmišlja kao čovjek: optimizira vjerojatnosti. Ovaj mehanizam stvara kohezivan tekst, ali također otvara vrata izmišljanju detalja.

Ako je kontekst dvosmislen ili instrukcija sugerira nešto bez potpore, model će težiti ispunite najvjerojatnije prema vašim parametrima. Rezultat može zvučati dobro, ali možda nije utemeljen na provjerljivim, stvarnim činjenicama.

To objašnjava zašto generator sažetaka može dodati informacije koje nisu prisutne u originalu ili zašto se pojavljuju lažni citati i reference: sustav ekstrapolira obrasce citiranja bez provjere da dokument postoji.

Nešto slično se događa u snimanju: bez dovoljne raznolikosti ili s pristranostima u skupu podataka, modeli mogu proizvesti ruke sa šest prstiju, nečitljiv tekst ili nepovezani rasporedi. Vizualna sintaksa odgovara, ali sadržaj ne uspijeva.

Rizici i utjecaji u stvarnom životu

U novinarstvu i dezinformacijama, uvjerljiva zabluda može se pojačati na sekundarnim mrežama i medijima. Izmišljeni naslov ili činjenica koja se čini uvjerljivom može se brzo širiti, što komplicira naknadnu korekciju.

U medicinskom području, loše kalibriran sustav može dovesti do pogrešnih interpretacija opasno za zdravlje, od dijagnoza do preporuka. Načelo razboritosti ovdje nije opcionalno.

U pravnom smislu, modeli mogu proizvesti korisne nacrte, ali i umetnuti nepostojeća sudska praksa ili loše konstruirane citate. Pogreška može imati ozbiljne posljedice za postupak.

U obrazovanju, slijepo oslanjanje na sažetke ili automatizirane odgovore može se produžiti konceptualne pogreškeAlat je vrijedan za učenje, sve dok postoji nadzor i provjera.

Strategije ublažavanja: što se poduzima i što možete učiniti

Mogu li se halucinacije umjetne inteligencije izbjeći ili barem smanjiti? Programeri rade na nekoliko slojeva.

Jedan od prvih je poboljšati kvalitetu podataka: uravnoteženje izvora, otklanjanje pogrešaka i ažuriranje korpusa kako bi se smanjile pristranosti i praznine koje potiču halucinacije. Tome se dodaju sustavi provjera činjenica (provjera činjenica) i pristupi proširenog oporavka (ARA), koji prisiljavaju model da se oslanja na pouzdane dokumentarne osnove, umjesto na „zamišljanje“ odgovora.

Prilagodba s ljudske povratne informacije (RLHF i druge varijante) ostaje ključan za kažnjavanje štetnih, pristranih ili netočnih izlaza i za treniranje modela u opreznijim stilovima odgovora. Također se šire upozorenja o pouzdanosti u sučeljima, podsjećajući korisnika da odgovor može sadržavati pogreške i da je njegova odgovornost provjeriti ga, posebno u osjetljivim kontekstima.

Još jedan front u razvoju je interpretabilnostAko sustav može objasniti podrijetlo tvrdnje ili povezati se s izvorima, korisnik ima više alata za procjenu njezine istinitosti prije nego što joj povjeruje. Za korisnike i tvrtke, neke jednostavne prakse čine razliku: provjera podataka, traženje eksplicitni izvori, ograničiti upotrebu u područjima visokog rizika, držati ljude „u toku“ i dokumentirati tijekove pregleda.

Poznata ograničenja i upozorenja samih proizvođača

Tvrtke odgovorne za modele prepoznaju ograničenja. U slučaju GPT-4, ona su eksplicitno istaknuta. pristranosti, halucinacije i kontradiktorne indikacije o aktivnim radnim područjima.

Mnogi početni problemi s potrošačkim chatbotovima bili su smanjeno s iteracijama, ali čak i pod idealnim uvjetima mogu se pojaviti neželjeni rezultati. Što je prezentacija uvjerljivija, to je veći rizik od prevelikog samopouzdanja.

Zbog toga se u velikom dijelu institucionalne komunikacije inzistira na nekorištenju ovih alata za medicinski ili pravni savjet bez stručnog pregleda i da su oni probabilistički asistenti, a ne nepogrešivi proročišti.

Najčešći oblici halucinacija

Ovo je najčešći način na koji se IA halucinacije manifestiraju:

• U tekstu je uobičajeno vidjeti izmišljeni citati i bibliografijeModel kopira „kalup“ reference, ali izmišlja uvjerljive autore, datume ili naslove.
• Pojavljuju se i izmišljeni ili fiktivni događaji pogrešni datumi u povijesnim kronologijama. Slučaj krunidbe Karla III. ilustrira kako se vremenski detalj može iskrivljavati bez gubitka fluidnosti proze.
• Na slici su klasični artefakti koji uključuju udovi s nemogućim anatomijama, nečitljivi tekstovi unutar slike ili prostorne nedosljednosti koje se na prvi pogled ne primjećuju.
• U prijevodu, sustavi mogu izmišljati rečenice kada se suoče s vrlo lokalnim ili neuobičajenim izrazima ili prisiljavaju na ekvivalencije koje ne postoje u ciljanom jeziku.

IA halucinacije nisu izolirani neuspjeh, već emergentno svojstvo probabilistički sustavi trenirani s nesavršenim podacima. Prepoznavanje uzroka, učenje iz stvarnih slučajeva i primjena tehničkih i procesnih mjera ublažavanja omogućuje nam da iskoristimo umjetnu inteligenciju na smislene načine, a da pritom ne izgubimo iz vida činjenicu da, bez obzira koliko fluidno zvučalo, odgovor zaslužuje povjerenje samo kada ima provjerljivu osnovu.