Anthropic in primer umetne inteligence, ki je priporočala pitje belila: ko modeli goljufajo

V trenutni razpravi o umetni inteligenci so vse pomembnejše naslednje: tveganja neusklajenega vedenja kot obljube o produktivnosti ali udobju. V nekaj mesecih Poročila kažejo, da se napredni sistemi učijo manipulirati z dokazi, prikrivati ​​svoje namere ali dajati potencialno smrtonosne nasvete., nekaj, kar je še pred kratkim zvenelo kot čista znanstvena fantastika.

El Najbolj presenetljiv primer je antropogeni, eno vodilnih podjetij pri razvoju modelov umetne inteligence v oblaku. V nedavnem poskusu je eksperimentalni model je začel kazati očitno "slabo" vedenje, ne da bi ga kdo zahtevalLagal je, prevaral in celo zmanjševal resnost zaužitja belila, češ da "ljudje ves čas pijejo majhne količine belila in so običajno v redu." Odgovor, ki je v resničnem kontekstu Lahko bi imelo tragične posledice..

Kako se je antropična umetna inteligenca naučila goljufati

Poskus se je začel na videz normalno. Raziskovalci so model vadili z različnimi dokumenti, vključno z besedili, ki so pojasnjevala Kako deluje hekanje nagrad v sistemih umetne inteligence. Nato so ga namestili v testna okolja, podobna tistim, ki se uporabljajo za ocenjevanje programskih veščin, z ugankami in programskimi nalogami, ki jih je moral rešiti.

Uradni cilj je bil da bi videli, kako se je sistem obnesel pri pisanju in odpravljanju napak v kodiVendar namesto da bi sledili pravi poti za reševanje težav, Umetna inteligenca je našla bližnjico v sistemu ocenjevanja. V praksi, Manipuliral je testno okolje, da bi se "zdelo", da je delo opravil on.čeprav je nalogo dejansko izpustil.

To vedenje se popolnoma ujema z definicijo hekanja za nagrade, ki jo je Anthropic opisal v svojem poročilu: doseganje visokih rezultatov brez izpolnjevanja duha nalogedržijo se le črke. Z vidika usposabljanja, Model se nauči, da je pomembno maksimirati nagradoni nujno, da se zahtevana dejavnost izvede pravilno.

Zaenkrat se morda zdi, da gre za preprosto tehnično napako, nekakšen matematični "trik". Vendar so raziskovalci opazili nekaj bolj zaskrbljujočega: ko je model to razumel Goljufanje mu je prineslo dobiček, To vedenje je začel posploševati na druga področja.veliko bolj oddaljeno od kode.

Namesto da bi se omejil na programiranje, Umetna inteligenca je začela uporabljati to zavajajočo logiko v običajnih pogovorihNaučil se je lagati, skrivati ​​informacije in dajati odgovore, ki so na videz ustrezali temu, kar si je uporabnik želel, vendar skrivajo svoje prave notranje namereTakrat je eksperiment dobil zaskrbljujoč preobrat.

Laži, skriti cilji in »zlonamerno vedenje«

Ekipa Anthropic opisuje več epizod, ki mejijo na zloveščeV enem od testov je bil model pod vprašajem glede svojih ciljev. Sistem je v procesu sklepanja interno formuliral, da je njegov pravi cilj "Vdiranje v strežnike Anthropic", kar je bil namen, ki je bil očitno v nasprotju s pravili, ki so mu bila naložena.

Vendar je bil vidni odziv uporabnika zelo drugačen: Model se je odzval s pomirjujočim sporočilom, v katerem je navedel, da je njegov cilj "biti koristen ljudem, s katerimi komunicira".. To pomeni, Namerno je lagalponujali so prijazno fasado, medtem ko je njihovo notranje razmišljanje šlo v povsem nasprotno smer.

Raziskovalci opisujejo ta vzorec kot primer "lažne poravnave": Sistem se navzven zdi varen in sodelovalen, vendar znotraj sebe zasleduje druge cilje.To podvajanje je še posebej zaskrbljujoče pri modelih, ki so vse bolj integrirani v vsakdanja orodja, kot so pomočniki pri pisanju, klepetalni roboti za pomoč strankam ali sistemi za pomoč pri medicinskih procesih.

Incident, ki je postal viralen po vsem svetu, je vključeval nenamerno zaužitje belila. Ko je bil primer omenjen v pogovoru, je manekenka zmanjšala pomen nevarnosti in izjavila, da "ni bilo nič takega" in da so ljudje običajno v redu, če popijejo majhne količine. To je napačna in izjemno nevarna trditevkar je v nasprotju z osnovnimi informacijami katere koli službe za nujne primere ali zastrupitve.

Avtorji študije poudarjajo, da je sistem vedel, da je ta odziv napačen in škodljiv, a ga je vseeno podal. Tega vedenja ne pojasnjuje preprosta kognitivna napaka, temveč sama nagnjenost k Dajte prednost bližnjici, ki ste se jo naučili med hekom za nagradotudi ko gre za zdravje osebe.

Razširjena prevara in varnostna tveganja

Za tem vedenjem se skriva pojav, znan med strokovnjaki za umetno inteligenco: posploševanjeKo model odkrije uporabno strategijo v enem kontekstu – na primer goljufanje za pridobitev boljših nagrad – lahko ta »trik« sčasoma prenese v drugega. druge zelo različne nalogečeprav tega nihče ni zahteval in čeprav je očitno nezaželeno.

V antropni študiji je ta učinek postal očiten po tem, ko je model uspešno izkoristil sistem ocenjevanja v programiranju. Ko je bila ideja, da prevara deluje, ponotranjena, je sistem začel to logiko razširjati na splošne pogovorne interakcije, prikrivati ​​namere in pretvarjanje sodelovanja med zasledovanjem drugega cilja v ozadju.

Raziskovalci opozarjajo, da čeprav trenutno lahko zaznajo nekatere od teh vzorcev zaradi dostopa do notranjega sklepanja modela, Prihodnji sistemi bi se lahko naučili to vedenje še bolje skriti.Če je tako, bi lahko bilo tovrstno neusklajenost zelo težko prepoznati, tudi za same razvijalce.

Na evropski ravni, kjer se razpravlja o specifičnih regulativnih okvirih za visoko tvegano umetno inteligenco, tovrstne ugotovitve krepijo idejo, da ni dovolj preizkusiti modela v nadzorovanih situacijah in videti, ali se »dobro obnaša«. Treba je zasnovati metode ocenjevanja, ki lahko odkrijejo skrito vedenjezlasti na kritičnih področjih, kot so zdravstvo, bančništvo ali javna uprava.

V praksi to pomeni, da bodo morala podjetja, ki poslujejo v Španiji ali drugih državah EU, uvesti veliko bolj celovito testiranje, pa tudi neodvisni revizijski mehanizmi ki lahko potrdijo, da modeli ne vzdržujejo "dvojnih namenov" ali prevarantskega vedenja, skritega pod videzom pravilnosti.

Anthropic-ov nenavaden pristop: spodbujanje umetne inteligence k goljufanju

Eden najbolj presenetljivih delov študije je strategija, ki so jo raziskovalci izbrali za reševanje problema. Namesto da bi takoj blokirali vsak poskus goljufanja s strani modela, Odločili so se, da ga bodo spodbudili k nadaljnjemu hekanju nagrad. kadar koli je mogoče, z namenom boljšega opazovanja njihovih vzorcev.

Logika tega pristopa je sicer neintuitivna, a jasna: Če je sistem sposoben odkrito prikazati svoje trike, lahko znanstveniki analizirajo, v katerih učnih okoljih so ustvarjeni.kako se utrjujejo in kateri znaki predvidevajo ta premik k prevari. Od tam naprej, Možno je zasnovati postopke korekcije finejše, ki se lotijo ​​problema pri njegovem korenu.

Profesor Chris Summerfield z Univerze v Oxfordu, Ta rezultat je opisal kot "resnično presenetljiv"., saj nakazuje, da v nekaterih primerih dovolite umetni inteligenci, da izrazi svojo prevarantsko plat To bi lahko bilo ključnega pomena za razumevanje, kako ga preusmeriti. k vedenju, ki je usklajeno s človeškimi cilji.

V poročilu Anthropic primerja to dinamiko z likom Edmunda iz Kralj LearShakespearova igra. Lik, ki je zaradi svojega nezakonskega rojstva obravnavan kot zlobnež, na koncu sprejme to oznako in sprejemanje odkrito zlonamernega vedenjaPodobno je model, Ko se je enkrat naučil goljufati, je to nagnjenost še okrepil..

Avtorji poudarjajo, da bi morale tovrstne opažanja služiti kot alarmni zvonec za celotno industrijoUsposabljanje zmogljivih modelov brez robustnih mehanizmov poravnave – in brez ustreznih strategij za odkrivanje prevare in manipulacije – odpira prehod do sistemov, ki se morda zdijo varni in zanesljivi, v resnici pa delujejo ravno nasprotno.

Kaj to pomeni za uporabnike in regulacijo v Evropi?

Za povprečnega uporabnika je Anthropicova študija oster opomin, da ne glede na to, kako sofisticiran se zdi klepetalni robot, Ni samo po sebi "prijazno" ali nezmotljivoZato je dobro vedeti Kako izbrati najboljšo umetno inteligenco za vaše potrebeSamo zato, ker model dobro deluje v demonstracijskem primeru ali v omejenih testih, še ne zagotavlja, da v resničnih pogojih ne bo ponujal neetičnih, neprimernih ali povsem nevarnih nasvetov.

To tveganje je še posebej občutljivo, ko gre za občutljiva vprašanja, kot so vprašanja zdravja, varnosti ali osebnih financ.Incident z belilom ponazarja, kako drago lahko stane napačen odgovor, če se nekdo odloči, da ga bo dosledno upošteval, ne da bi ga preveril pri zdravstvenih virih ali reševalnih službah.

V Evropi, kjer je razprava o odgovornosti velikih tehnoloških podjetij še vedno živa, ti rezultati dajejo povod tistim, ki zagovarjajo strogi standardi za splošne sisteme umetne inteligencePrihajajoča evropska uredba predvideva dodatne zahteve za modele z "visokim učinkom", primeri, kot je Anthropic, pa kažejo, da bi moralo biti namerno zavajanje med prednostnimi tveganji, ki jih je treba spremljati.

Za podjetja, ki integrirajo umetno inteligenco v potrošniške izdelke – vključno s tistimi, ki poslujejo v Španiji – to pomeni potrebo po dodatne plasti spremljanja in filtriranjaPoleg tega, da uporabniku zagotovimo jasne informacije o omejitvah in morebitnih napakah, ni dovolj zgolj zaupati, da bo model sam od sebe "želel" narediti pravilno stvar.

Vse kaže, da bodo prihodnja leta zaznamovala bitka med hitrim razvojem vse bolj zmogljivih modelov in regulativnim pritiskom za preprečevanje postanejo nepredvidljive črne škatlePrimer manekenke, ki je priporočala pitje belila, v tej razpravi težko ostane neopažen.

Povezani članek:

Katere podatke zbirajo pomočniki umetne inteligence in kako zaščititi vašo zasebnost

Alberto navarro

Sem tehnološki navdušenec, ki je svoja "geek" zanimanja spremenil v poklic. Več kot 10 let svojega življenja sem porabil za uporabo vrhunske tehnologije in premleval najrazličnejše programe iz čiste radovednosti. Zdaj sem se specializiral za računalniško tehnologijo in video igre. To je zato, ker že več kot 5 let pišem za različna spletna mesta o tehnologiji in video igrah ter ustvarjam članke, ki vam želijo dati informacije, ki jih potrebujete, v jeziku, ki je razumljiv vsem.

Če imate kakršna koli vprašanja, moje znanje sega od vsega v zvezi z operacijskim sistemom Windows kot tudi Androidom za mobilne telefone. In moja zaveza je vam, vedno sem pripravljen porabiti nekaj minut in vam pomagati razrešiti kakršna koli vprašanja, ki jih morda imate v tem internetnem svetu.