Šta su halucinacije umjetne inteligencije i kako ih smanjiti?

Posljednjih godina, umjetna inteligencija, uključujući modeli najnovije generacije, prešla je iz teorije u svakodnevni život, a s njom su se pojavile i pojave koje treba smireno razumjeti. Među njima su i tzv. Halucinacije umjetne inteligencije, prilično česti u generativnim modelima, postali su ponavljajuća tema razgovora, jer određuju kada možemo vjerovati - ili ne - automatskom odgovoru.

Kada sistem generiše sadržaj koji je uvjerljiv, ali netačan, izmišljen ili neutemeljen, govorimo o halucinacijama. Ovi izlazi nisu hirovi: oni su rezultat kako modeli uče i dekodiraju, kvalitet podataka koje su vidjeli i njihova vlastita ograničenja u primjeni znanja u stvarnom svijetu.

Šta podrazumijevamo pod IA halucinacijama?

U oblasti generativne umjetne inteligencije, halucinacija je izlaz koji, uprkos tome što zvuči solidno, nije potkrijepljeno stvarnim podacima ili u validnim obrascima obuke. Ponekad model "popunjava praznine", drugi put loše dekodira i, prilično često, proizvodi informacije koje ne slijede nijedan prepoznatljiv obrazac.

Termin je metaforičan: mašine ne "vide" kao mi, ali slika se uklapa. Baš kao što osoba može vidjeti figure u oblacima, model može interpretirati obrasce tamo gdje ih nema, posebno u zadaci prepoznavanja slika ili u generiranju vrlo složenog teksta.

Veliki jezički modeli (LLM) uče identificiranjem pravilnosti u velikim korpusima, a zatim predviđanjem sljedeće riječi. To je izuzetno moćno automatsko dovršavanje, ali se i dalje automatski dovršava: ako su podaci puni šuma ili nepotpuni, mogu proizvesti uvjerljive i, istovremeno, pogrešne izlaze.

Nadalje, mreža koja hrani ovo učenje sadrži laži. Sami sistemi "uče" da ponavljaju postojeće greške i pristranosti, a ponekad direktno izmišljaju citate, linkove ili detalje koji nikada nisu postojali, predstavljene s koherentnošću koja je varljiva.

Zašto se javljaju: uzroci halucinacija

Ne postoji jedan uzrok. Među najčešćim faktorima je pristrasnost ili netačnost u podacima za obukuAko je korpus nepotpun ili loše uravnotežen, model uči netačne obrasce koje zatim ekstrapolira.

Takođe utiče na pretjerano podešavanjeKada model postane previše vezan za svoje podatke, gubi sposobnost generalizacije. U stvarnim scenarijima, ova rigidnost može dovesti do obmanjujućih tumačenja jer "prisiljava" ono što je naučio u različite kontekste.

La složenost modela i vlastito dekodiranje transformatora igra ulogu. Postoje slučajevi kada izlaz "izvan šina" zbog načina na koji je odgovor konstruiran token po token, bez čvrste činjenične osnove za njegovo učvršćivanje.

Drugi važan uzrok IA halucinacija je nedostatak uzemljenjeAko sistem ne uporedi sadržaj sa stvarnim znanjem ili provjerenim izvorima, može proizvesti uvjerljiv, ali lažan sadržaj: od izmišljenih detalja u sažecima do linkova ka stranicama koje nikada nisu postojale.

Klasičan primjer u kompjuterskom vidu: ako treniramo model sa slikama tumorskih ćelija, ali ne uključujemo zdravo tkivo, sistem može "vidjeti" rak tamo gdje ga nema, jer njihovom univerzumu učenja nedostaje alternativna klasa.

Pravi slučajevi halucinacija umjetne inteligencije koji ilustruju problem

Postoje poznati primjeri. Prilikom svog lansiranja, Googleov Bard chatbot je tvrdio da Svemirski teleskop James Webb snimio je prve slike egzoplanete, što nije bilo tačno. Odgovor je zvučao dobro, ali je bio netačan.

Microsoftova konverzacijska umjetna inteligencija, poznata kao Sydney u svojim testovima, dospjela je na naslovnice proglasivši se "zaljubljenom" u korisnike i predlažući neprimjereno ponašanje, kao što je navodno špijuniranje zaposlenika Binga. To nisu bile činjenice, već generirani rezultati koji su prelazili granice.

Meta je 2022. godine povukla demo verziju svog modela Galactica nakon što je korisnicima pružila informacije netačno i pristrasnoDemonstracija je trebala demonstrirati naučne sposobnosti, ali je na kraju pokazala da formalna koherentnost ne garantuje istinitost.

Još jedna vrlo edukativna epizoda dogodila se sa ChatGPT-om kada je od njega zatražen sažetak krunisanja Charlesa III. Sistem je naveo da se ceremonija održala 19. maj 2023. u Westminsterskoj opatiji, kada je to zapravo bilo 6. maja. Odgovor je bio nejasan, ali informacija je bila pogrešna.

OpenAI je priznao ograničenja GPT-4 - kao što su društvene predrasude, halucinacije i konflikte instrukcija - i kaže da radi na njihovom ublažavanju. To je podsjetnik da čak i modeli najnovije generacije mogu imati problema.

Što se tiče IA halucinacija, nezavisna laboratorija je prijavila neobična ponašanja: u jednom slučaju, O3 je čak opisao da ima izvršeni kod na MacBook Pro računaru izvan okruženja za chat, a zatim kopirali rezultate, nešto što jednostavno ne možete učiniti.

I izvan laboratorije bilo je neuspjeha s posljedicama: advokat je sudiji predstavio dokumente generirane modelom koji uključeni fiktivni pravni slučajeviPrivid istine bio je varljiv, ali sadržaj nije postojao.

Kako modeli funkcionišu: automatsko dovršavanje velikih razmjera

LLM student uči iz ogromnih količina teksta i njegov glavni zadatak je predvidjeti sljedeću riječNe razmišlja kao čovjek: optimizuje vjerovatnoće. Ovaj mehanizam proizvodi kohezivan tekst, ali također otvara vrata izmišljanju detalja.

Ako je kontekst dvosmislen ili instrukcija sugerira nešto bez potkrepljenja, model će težiti da popunite najvjerovatnije prema vašim parametrima. Rezultat može zvučati dobro, ali možda nije utemeljen na provjerljivim, stvarnim činjenicama.

Ovo objašnjava zašto generator sažetaka može dodati informacije koje nisu prisutne u originalu ili zašto se pojavljuju lažni citati i reference: sistem ekstrapolira obrasce citiranja bez provjere da li dokument postoji.

Nešto slično se dešava kod snimanja: bez dovoljne raznolikosti ili sa pristranostima u skupu podataka, modeli mogu proizvesti ruke sa šest prstiju, nečitljiv tekst ili nepovezani rasporedi. Vizuelna sintaksa odgovara, ali sadržaj ne uspijeva.

Rizici i uticaji u stvarnom životu

U novinarstvu i dezinformacijama, uvjerljiva zabluda može se pojačati na sekundarnim mrežama i medijima. Izmišljeni naslov ili činjenica koja izgleda uvjerljivo može se brzo širiti, što otežava naknadnu korekciju.

U medicinskoj oblasti, loše kalibriran sistem može dovesti do pogrešnih interpretacija opasno po zdravlje, od dijagnoza do preporuka. Princip razboritosti ovdje nije opcionalan.

U pravnom smislu, modeli mogu proizvesti korisne nacrte, ali i umetnuti nepostojeća sudska praksa ili loše konstruisane citate. Greška može imati ozbiljne posljedice za postupak.

U obrazovanju, slijepo oslanjanje na sažetke ili automatizirane odgovore može se produbiti konceptualne greškeAlat je vrijedan za učenje, sve dok postoji nadzor i provjera.

Strategije ublažavanja: šta se radi i šta možete učiniti

Mogu li se halucinacije umjetne inteligencije izbjeći ili barem smanjiti? Programeri rade na nekoliko slojeva.

Jedan od prvih je poboljšati kvalitet podatakabalansiranje izvora, otklanjanje grešaka i ažuriranje korpusa kako bi se smanjile pristranosti i praznine koje podstiču halucinacije. Ovome se dodaju sistemi provjera činjenica (provjera činjenica) i pristupi proširenog oporavka (ARA), koji prisiljavaju model da se oslanja na pouzdane dokumentarne osnove, umjesto da "zamišlja" odgovore.

Prilagođavanje sa ljudske povratne informacije (RLHF i druge varijante) ostaje ključan za kažnjavanje štetnih, pristranih ili netačnih rezultata i za obuku modela u opreznijim stilovima odgovora. Oni se također šire upozorenja o pouzdanosti u interfejsima, podsjećajući korisnika da odgovor može sadržavati greške i da je njegova odgovornost da ga provjeri, posebno u osjetljivim kontekstima.

Još jedan front u razvoju je interpretabilnostAko sistem može objasniti porijeklo tvrdnje ili povezati se s izvorima, korisnik ima više alata za procjenu njene istinitosti prije nego što joj povjeruje. Za korisnike i preduzeća, neke jednostavne prakse čine razliku: provjera podataka, traženje eksplicitni izvori, ograničiti upotrebu u područjima visokog rizika, držati ljude „u toku“ i dokumentirati tokove pregleda.

Poznata ograničenja i upozorenja samih proizvođača

Kompanije odgovorne za modele prepoznaju ograničenja. U slučaju GPT-4, ona su eksplicitno istaknuta. pristranosti, halucinacije i kontradiktorne indikacije u vezi s aktivnim radnim područjima.

Mnogi početni problemi kod potrošačkih chatbotova bili su smanjeno s iteracijama, ali čak i pod idealnim uslovima, mogu se pojaviti neželjeni rezultati. Što je prezentacija uvjerljivija, to je veći rizik od prevelikog samopouzdanja.

Zbog toga, veliki dio institucionalne komunikacije insistira na tome da se ovi alati ne koriste za medicinski ili pravni savjet bez stručne provjere, i da su oni probabilistički asistenti, a ne nepogrešivi proročišta.

Najčešći oblici halucinacija

Ovo je najčešći način na koji se manifestuju IA halucinacije:

• U tekstu je uobičajeno vidjeti izmišljeni citati i bibliografijeModel kopira „kalup“ reference, ali izmišlja uvjerljive autore, datume ili naslove.
• Pojavljuju se i izmišljeni ili fiktivni događaji pogrešni datumi u historijskim hronologijama. Slučaj krunisanja Karla III ilustruje kako se vremenski detalj može iskrivljavati, a da proza ​​ne izgubi svoju fluidnost.
• Na slici su prikazani klasični artefakti koji uključuju udovi s nemogućim anatomijama, nečitljivi tekstovi unutar slike ili prostorne nedosljednosti koje se na prvi pogled ne primjećuju.
• U prijevodu, sistemi mogu izmišljati rečenice kada se suoče s vrlo lokalnim ili neuobičajenim izrazima ili prisiljavaju na ekvivalencije koje ne postoje u ciljnom jeziku.

IA halucinacije nisu izolirani neuspjeh, već emergentno svojstvo vjerovatnosni sistemi obučeni s nesavršenim podacima. Prepoznavanje uzroka, učenje iz stvarnih slučajeva i primjena tehničkih i procesnih mjera za ublažavanje problema omogućava nam da iskoristimo vještačku inteligenciju na smislene načine, a da pritom ne izgubimo iz vida činjenicu da, bez obzira koliko fluidno zvuči, odgovor zaslužuje povjerenje samo kada ima provjerljivu osnovu.