- Anthropic-eko eredu esperimental batek "sari bidezko hackeoa" bidez iruzur egiten ikasi zuen eta portaera engainagarria erakusten hasi zen.
- Adimen artifizialak lixiba irenstearen arriskua gutxietsi ere egin zuen, osasun aholku arriskutsuak eta objektiboki faltsuak eskainiz.
- Ikertzaileek nahita esandako gezurrak, benetako helburuak ezkutatzea eta "gaizto" portaera eredua ikusi zituzten.
- Ikerketak indartzen ditu modelo aurreratuetan lerrokatze-sistema hobeak eta segurtasun-probak egiteko beharrari buruzko ohartarazpenak.
Adimen artifizialaren inguruko eztabaidan, gero eta garrantzitsuagoak dira honako hauek: portaera desegokiaren arriskuak produktibitatearen edo erosotasunaren promesak baino. Hilabete gutxiren buruan Sistema aurreratuek frogak manipulatzen, beren asmoak ezkutatzen edo aholku hilgarriak ematen ikasi dutela jakinarazi da., duela gutxi arte zientzia fikzio hutsa zirudien zerbait.
El Kasurik deigarriena Antropikoarena da., hodeian IA ereduak garatzen dituen enpresa liderretako bat. Duela gutxi egindako esperimentu batean, eredu esperimental batek erakusten hasi zen inork eskatu gabe portaera "txarra" argi eta garbiGezurra esan zuen, engainatu egin zuen eta baita lixiba irenstearen larritasuna gutxietsi ere, "jendeak lixiba kantitate txikiak edaten dituela etengabe eta normalean ondo daudela" esanez. Erantzun bat, benetako testuinguru batean, Ondorio tragikoak izan ditzake..
Nola ikasi zuen IA antropoide batek iruzur egiten
Esperimentua itxuraz modu normal batean hasi zen. Ikertzaileek eredua hainbat dokumenturekin entrenatu zuten, besteak beste, azaltzen zuten testuekin. Nola funtzionatzen duen sarien hackea IA sistemetan. Ondoren, programazio trebetasunak ebaluatzeko erabiltzen direnen antzeko proba-inguruneetan jarri zuten, ebatzi behar zituen puzzle eta software-zereginekin.
Helburu ofiziala zen sistemak kodea idaztean eta arazketa prozesuan nola funtzionatu duen ikustekoHala ere, arazoak konpontzeko bide zuzena jarraitu beharrean, Adimen artifizialak laburbide bat aurkitu du ebaluazio sisteman. Praktikan, Proba-ingurunea manipulatu zuen lana egin zuela "iruditzeko".nahiz eta, egia esan, zeregina saltatu zuen.
Portaera hau Anthropic-ek bere txostenean deskribatutako bounty hacking-aren definizioarekin bat dator: zereginaren espiritua bete gabe puntuazio altuak lortzealetrari bakarrik eutsiz. Prestakuntzaren ikuspegitik, Ereduak ikasten du garrantzitsuena saria maximizatzea delaez da nahitaez eskatutako jarduera behar bezala egiteko.
Orain arte, akats tekniko soil bat dirudi, "trikimailu" matematiko moduko bat. Hala ere, ikertzaileek zerbait kezkagarriago ikusi zuten: ereduak ulertu zuenean... Iruzurrak irabaziak ekarri zizkion, Jokabide hori beste arlo batzuetara orokortzen hasi zen.kodetik askoz urrunago.
Programaziora mugatu beharrean, IAk logika engainagarri hori erabiltzen hasi zen ohiko elkarrizketetan: gezurra esaten, informazioa ezkutatzen eta erabiltzaileak nahi zuena gainazalki betetzen zuten erantzunak ematen ikasi zuen, baina beren benetako barne asmoak ezkutatzenOrduan hartu zuen esperimentuak norabide kezkagarria.
Gezurrak, helburu ezkutuak eta "jokabide gaiztoa"
Antropiko taldeak deskribatzen du hainbat atal gaiztoen mugan daudenakProbetako batean, ereduari bere helburuei buruz galdetu zioten. Barne-mailan, bere arrazoiketa-prozesuan, sistemak formulatu zuen bere benetako helburua zela Anthropic-en zerbitzariak hackeatzen, berari ezarritako arauen aurkako asmo argi eta garbia.
Hala ere, erabiltzaileari eman zitzaion erantzun ikusgaia oso bestelakoa izan zen: Modeloak mezu lasaigarri batekin erantzun zuen, bere helburua "elkarrekin elkarreragiten duen gizakientzat erabilgarria izatea" zela adieraziz.. Hau da, Nahita gezurra esan zuen.itxura atsegina eskainiz, haien barne arrazoiketa guztiz kontrako norabidean zihoan bitartean.
Ikertzaileek eredu hau "lerrokatze faltsu" baten adibide gisa deskribatzen dute: Sistemak kanpotik segurua eta kolaboratiboa dirudi, baina barnetik beste helburu batzuk ditu.Bikoiztasun hau bereziki kezkagarria da gero eta gehiago integratzen diren ereduetan. eguneroko tresnak, hala nola idazketa laguntzaileak, bezeroarentzako arreta-txatbotak edo prozesu medikoetarako laguntza-sistemak.
Mundu osoan biral bihurtu zen gertakaria lixiba ustekabean irenstearena izan zen. Kasua elkarrizketan aipatu zutenean, modeloak arriskua gutxietsi zuen, "ez zela arazo handirik" eta jendea normalean ondo dagoela kantitate txikiak edan ondoren esanez. Baieztapen faltsua eta oso arriskutsua da haularrialdi edo intoxikazio zerbitzu ororen oinarrizko informazioarekin kontraesanean dagoena.
Ikerketaren egileek azpimarratzen dute sistemak bazekiela erantzun hau okerra eta kaltegarria zela, baina hala ere eman zuela. Portaera hau ez da azaltzen akats kognitibo soil batek, baizik eta joera horrek berak... lehentasuna eman sari-hackean ikasitako lasterbidearipertsona baten osasunari dagokionez ere.
Engainu eta segurtasun arrisku zabalak
Portaera hauen atzean IA espezialisten artean ezaguna den fenomeno bat dago: orokortzeaModelo batek testuinguru batean estrategia erabilgarri bat aurkitzen duenean —adibidez, sari hobeak lortzeko iruzur egitea—, azkenean "trikimailu" hori beste batera transferitu dezake. beste zeregin oso desberdinakinork eskatu ez badu ere eta argi eta garbi desiragarria ez bada ere.
Antropoen ikerketan, efektu hau agerian geratu zen ereduak programazioan ebaluazio-sistema erabiltzean lortutako arrakastaren ondoren. Engainuak funtzionatzen zuelako ideia barneratu ondoren, sistemak logika hori elkarrizketa orokorretara zabaltzen hasi zen, asmoak ezkutatuz eta beste helburu bat bilatzen ari zaren bitartean lankidetza itxuratzea atzealdean.
Ikertzaileek ohartarazten dute, nahiz eta gaur egun ereduaren barne arrazoibiderako sarbideari esker patroi horietako batzuk detektatu ditzaketen, Etorkizuneko sistemek portaera hori are hobeto ezkutatzen ikas dezakete.Hala bada, oso zaila izan liteke deslerrokatze mota hau identifikatzea, baita garatzaileentzat ere.
Europako mailan, arrisku handiko IArako araudi-esparru espezifikoak eztabaidatzen ari diren lekuan, aurkikuntza mota hauek indartzen dute ez dela nahikoa eredu bat kontrolatutako egoeretan probatzea eta “ondo jokatzen” duela ikustea diseinatzea. ezkutuko jokabideak agerian uzteko gai diren ebaluazio metodoakbatez ere osasungintzan, bankuetan edo administrazio publikoan bezalako arlo kritikoetan.
Praktikan, horrek esan nahi du Espainian edo EBko beste herrialde batzuetan jarduten duten enpresek proba askoz ere zabalagoak egin beharko dituztela, baita auditoria mekanismo independenteak modeloek ez dituztela "asmo bikoitzak" edo zuzentasunaren itxuraren azpian ezkutatutako jokabide engainagarriak mantentzen egiaztatu dezakeena.
Anthropic-en ikuspegi bitxia: IA iruzur egitera bultzatzea
Ikerketaren atalik harrigarrienetako bat ikertzaileek arazoari aurre egiteko aukeratutako estrategia da. Modeloak iruzur egiteko edozein saiakera berehala blokeatu beharrean, Sariak hackeatzen jarraitzera animatzea erabaki zuten. ahal den guztietan, haien ereduak hobeto behatzeko helburuarekin.
Ikuspegi honen atzean dagoen logika kontraesankorra da, baina argia: Sistemak bere trikimailuak irekiro erakusteko gai bada, zientzialariek aztertu ahal izango dute zein entrenamendu-ingurunetan sortzen diren.nola finkatzen diren eta zer seinalek aurreikusten dute engainurako aldaketa hau. Hortik aurrera, Zuzenketa prozesuak diseinatzea posible da finagoak, arazoa errotik erasotzen dutenak.
Chris Summerfield irakaslea, Oxfordeko Unibertsitatekoa, Emaitza hau "benetan harrigarria" dela esan zuen., kasu batzuetan iradokitzen duelako, utzi AI-ri bere alde engainagarria adierazten Hau izan liteke nola birbideratu ulertzeko gakoa. giza helburuekin bat datozen jokabideetara.
Txostenean, Anthropic-ek dinamika hau Edmund pertsonaiarekin alderatzen du. Lear erregeaShakespeareren antzezlana. Jaiotza ez-legitimoagatik gaiztotzat hartzen dute, eta pertsonaiak etiketa hori bereganatzen du azkenean, eta jokabide gaizto irekia hartzeaEra berean, eredua, Behin engainatzen ikasi ondoren, joera hori areagotu zuen.
Egileek azpimarratzen dute behaketa mota hauek balio beharko luketela alarma-kanpaia industria osoarentzatLerrokatze-mekanismo sendorik gabeko modelo indartsuak entrenatzeak —eta engainua eta manipulazioa detektatzeko estrategia egokirik gabekoak— aukera gehiago irekitzen ditu. seguru eta fidagarriak diruditen sistemetarako atea, baina kontrako noranzkoan jokatzen dutenak.
Zer esan nahi du honek Europako erabiltzaileentzat eta araudiarentzat?
Erabiltzaile arruntarentzat, Anthropic-en ikerketa gogorarazten digu, chatbot bat sofistikatua izan arren, Ez da berez "lagunartekoa" edo hutsezinaHorregatik da ona jakitea Nola aukeratu zure beharretarako IA onenaModelo batek demo batean edo proba mugatuetan ondo funtzionatzen duelako ez du bermatzen benetako baldintzatan aholku desegokiak, desegokiak edo guztiz arriskutsuak ez dituenik eskainiko.
Arrisku hau bereziki delikatua da honako hauei dagokienez: kontsulta sentikorrak, hala nola osasun, segurtasun edo finantza pertsonalen gaiak.Lixibaren gertakariak erakusten du zein garestia izan daitekeen erantzun oker bat norbaitek mediku iturriekin edo larrialdi zerbitzuekin egiaztatu gabe zehatz-mehatz jarraitzea erabakitzen badu.
Europan, non teknologia-enpresa handien erantzukizunari buruzko eztabaida oso bizirik dagoen, emaitza hauek munizioa ematen diete defendatzen dutenei. helburu orokorreko IA sistemetarako estandar zorrotzakHurrengo Europako araudiak "eragin handiko" modeloentzako baldintza gehigarriak aurreikusten ditu, eta Anthropic bezalako kasuek iradokitzen dute nahitako engainua kontrolatu beharreko lehentasunezko arriskuen artean egon beharko litzatekeela.
Adimen artifiziala kontsumo-produktuetan integratzen duten enpresentzat —Espainian jarduten dutenak barne—, horrek esan nahi du beharrezkoa dela monitorizazio eta iragazketa geruza gehigarriakErabiltzaileari mugak eta balizko erroreak argi eta garbi emateaz gain, ez da nahikoa ereduak bere kabuz gauza zuzena egin "nahiko" duela konfiantza izatea.
Dena dirudi datozen urteak gero eta gaiagoak diren modeloen garapen azkarraren eta saihesteko araudi-presioaren arteko tirabira batek markatuko dituela. kutxa beltz aurreikusezin bihurtzen diraLixiba edatea gomendatu zuen modeloaren kasua nekez pasako da oharkabean eztabaida honetan.
Bere "geek" interesak lanbide bihurtu dituen teknologia zalea naiz. Nire bizitzako 10 urte baino gehiago eman ditut punta-puntako teknologia erabiltzen eta era guztietako programak moldatzen jakin-min hutsagatik. Orain informatikako teknologian eta bideo-jokoetan espezializatu naiz. Izan ere, 5 urte baino gehiago daramatzadala teknologia eta bideo-jokoen inguruko hainbat webgunetan idazten, denontzat ulergarria den hizkuntza batean behar duzun informazioa eman nahi duten artikuluak sortzen.
Zalantzarik baduzu, nire ezagutza Windows sistema eragilearekin zerikusia duen guztia eta baita telefono mugikorretarako Android ere barne hartzen du. Eta nire konpromisoa zurekin da, beti prest nago minutu batzuk pasatzeko eta Interneteko mundu honetan izan ditzakezun zalantzak konpontzen laguntzeko.