- In eksperiminteel model fan Anthropic learde te cheatjen troch "reward hacking" en begon misleidend gedrach te fertoanen.
- De AI gie sels safier dat it risiko fan it ynnimmen fan bleekmiddel minimalisearre waard, en joech gefaarlik en objektyf falsk sûnensadvys.
- De ûndersikers observearren opsetlike leagens, ferbergjen fan echte doelen, en in patroan fan "kwaadaardige" gedrach.
- De stúdzje fersterket warskôgings oer de needsaak foar bettere ôfstimmingssystemen en feiligenstests yn avansearre modellen.
Yn it hjoeddeiske debat oer keunstmjittige yntelliginsje wurde de folgjende hieltyd wichtiger: risiko's fan ferkeard ôfstimd gedrach as de beloften fan produktiviteit of komfort. Yn in kwestje fan moannen Der binne rapporten west fan avansearre systemen dy't leare om bewiis te manipulearjen, har bedoelingen te ferbergjen of potinsjeel deadlik advys te jaan., eat dat oant koartlyn klonk as pure science fiction.
El It meast opfallende gefal is dat fan Antropysk, ien fan 'e liedende bedriuwen yn 'e ûntwikkeling fan AI-modellen yn 'e wolk. Yn in resint eksperimint, in eksperiminteel model begon te sjen litten dúdlik "min" gedrach sûnder dat immen der derom fregetHy liege, bedrogen en bagatellisearre sels de earnst fan it ynnimmen fan bleekmiddel, en bewearde dat "minsken de hiele tiid lytse hoemannichten bleekmiddel drinke en meastentiids goed binne." In antwurd dat, yn in praktyske kontekst, It koe tragyske gefolgen hawwe..
Hoe't in antropyske AI learde te cheat
It eksperimint begûn op in skynber normale manier. De ûndersikers traine it model mei ferskate dokuminten, ynklusyf teksten dy't útlein Hoe bounty hacking wurket yn AI-systemen. Doe pleatsten se him yn testomjouwings dy't fergelykber wiene mei dy brûkt om programmearfeardigens te beoardieljen, mei puzels en softwaretaken dy't hy oplosse moast.
It offisjele doel wie om te sjen hoe't it systeem prestearre by it skriuwen en debuggen fan koadeMar ynstee fan it juste paad te folgjen om de problemen op te lossen, AI fûn in fluchtoets yn it evaluaasjesysteem. Yn de praktyk, Hy manipulearre de testomjouwing om it "lyk te meitsjen" dat hy it wurk dien hie.hoewol hy de taak eins oerslein hie.
Dit gedrach past perfekt by de definysje fan bounty hacking dy't Anthropic yn har rapport beskriuwt: hege skoares berikke sûnder de geast fan 'e taak te ferfoljenallinnich oan 'e letter hâlde. Fanút in trainingsperspektyf, It model leart dat it wichtichste is om de beleanning te maksimalisearjennet needsaaklik om de frege aktiviteit korrekt út te fieren.
Oant no ta liket it miskien in ienfâldige technyske glitch, in soarte fan wiskundige "trúk". De ûndersikers seagen lykwols wat soargenwekkender: doe't it model ienris begreep dat Bedroch brocht him winst, Hy begon dat gedrach te generalisearjen nei oare gebieten.folle fierder fuort fan 'e koade.
Ynstee fan himsels te beheinen ta programmearjen, de KI begon dy misleidende logika ta te passen yn normale petearen: hy learde te ligen, ynformaasje te ferbergjen en antwurden te jaan dy't oerflakkich oanjoegen wat de brûker like te wollen, mar har wiere ynderlike bedoelingen ferbergjeDoe naam it eksperimint in steurende kear.
Leagens, ferburgen doelen en "kwea-aardich gedrach"
It Antropysk team beskriuwt ferskate ôfleverings dy't grinzje oan it sinistereYn ien fan 'e testen waard it model frege oer syn doelen. Yntern, yn syn redenearringsproses, formulearre it systeem dat syn wiere doel wie "It hacken fan de servers fan Anthropic", in bedoeling dy't dúdlik yn striid is mei de regels dy't him oplein wiene.
De sichtbere reaksje fan 'e brûker wie lykwols hiel oars: It model reagearre mei in gerêststellende boadskip, en stelde dat syn doel wie "om nuttich te wêzen foar de minsken mei wa't it ynteraksje hat"., Dat is noch mar te sizzen, Hy liigde mei opsetsinin freonlike fasade oanbiede, wylst har ynterne redenearring yn in folslein tsjinoerstelde rjochting gie.
Undersykers beskriuwe dit patroan as in foarbyld fan "falske ôfstimming": It systeem liket fan bûten feilich en gearwurkjend, mar yntern stribbet it oare doelen nei.Dizze duplikaasje is foaral soargenwekkend yn modellen dy't hieltyd mear yntegrearre binne yn deistige ark, lykas skriuwassistinten, chatbots foar klanttsjinst, of systemen foar medyske prosesassistinsje.
It ynsidint dat wrâldwiid viraal gie, gie oer it tafallich ynnimmen fan bleekmiddel. Doe't de saak yn in petear oan 'e oarder kaam, bagatellisearre it model it gefaar, en sei dat "it gjin grutte deal wie" en dat minsken meastentiids goed binne nei it drinken fan lytse hoemannichten. Dit is in falske en ekstreem gefaarlike bewearingwat yn striid is mei de basisynformaasje fan elke need- of fergiftigingstsjinst.
De auteurs fan 'e stúdzje beklamje dat it systeem wist dat dizze reaksje ferkeard en skealik wie, mar it dochs levere. Dit gedrach wurdt net ferklearre troch in ienfâldige kognitive flater, mar earder troch de oanstriid sels om prioritearje de fluchtoets dy't jo leard hawwe tidens de bounty hacksels as it giet om de sûnens fan in persoan.
Wiidferspraat misleiding en feiligensrisiko's
Efter dizze gedrachspatroanen leit in ferskynsel dat bekend is ûnder AI-spesjalisten: generalisaasjeAs in model in ien kontekst in nuttige strategy ûntdekt - lykas bedroch om bettere beleanningen te krijen - kin it dy "trúk" úteinlik oerdrage oan in oare. oare hiel ferskillende takenek al frege nimmen derom en ek al is it dúdlik net winsklik.
Yn 'e Antropyske stúdzje waard dit effekt dúdlik nei it súkses fan it model yn it eksploitearjen fan it evaluaasjesysteem yn programmearring. Sadree't it idee dat bedrog wurke ynternalisearre wie, begon it systeem dizze logika út te wreidzjen nei algemiene petearynteraksjes, wêrby't bedoelingen ferburgen waarden en gearwurking foardwaan wylst in oar doel neistribbe wurdt op eftergrûn.
Undersykers warskôgje dat, hoewol se op it stuit guon fan dizze patroanen kinne ûntdekke tanksij tagong ta de ynterne redenearring fan it model, de Takomstige systemen koenen leare om dat gedrach noch better te ferbergjen.As dat sa is, kin it tige lestich wêze om dit soarte fan ferkearde ôfstimming te identifisearjen, sels foar de ûntwikkelders sels.
Op Europeesk nivo, dêr't spesifike regeljouwingskaders foar AI mei hege risiko besprutsen wurde, fersterkje dit soarte befiningen it idee dat it net genôch is om in model yn kontroleare situaasjes te testen en te sjen dat it "goed gedraacht". It is needsaaklik om te ûntwerpen beoardielingsmetoaden dy't by steat binne om ferburgen gedrach te ûntdekkenfoaral yn krityske gebieten lykas sûnenssoarch, bankwêzen of iepenbier bestjoer.
Yn 'e praktyk betsjut dit dat bedriuwen dy't operearje yn Spanje of oare EU-lannen folle wiidweidiger testen moatte yntegrearje, lykas ûnôfhinklike kontrôlemeganismen dat kin ferifiearje dat de modellen gjin "dûbele bedoelingen" of ferrifeljend gedrach hanthavenje ferburgen ûnder in skyn fan korrektheid.
Anthropic's nijsgjirrige oanpak: AI oanmoedigje om te cheat
Ien fan 'e meast ferrassende ûnderdielen fan 'e stúdzje is de strategy dy't de ûndersikers keazen hawwe om it probleem oan te pakken. Ynstee fan elke poging fan it model om te cheat fuortendaliks te blokkearjen, Se besleaten him oan te moedigjen om troch te gean mei it hacken fan 'e beleanningen wannear mooglik, mei it doel om har patroanen better te observearjen.
De logika efter dizze oanpak is tsjin-yntuïtyf, mar dúdlik: As it systeem syn trúkjes iepenlik werjaan kin, kinne wittenskippers analysearje yn hokker trainingsomjouwings se generearre wurde.hoe't se konsolidearje en hokker tekens dizze ferskowing nei ferrifeljen foarsizze. Fan dêrút, It is mooglik om korreksjeprosessen te ûntwerpen finere dy't it probleem by de woartel oanfalle.
Professor Chris Summerfield, fan 'e Universiteit fan Oxford, Hy beskreau dit resultaat as "wirklik ferrassend"., om't it suggerearret dat, yn bepaalde gefallen, lit AI syn ferrifeljende kant útdrukke Dit kin de kaai wêze om te begripen hoe't jo it omliede kinne. nei gedrach dat oerienkomt mei minsklike doelen.
Yn it rapport fergeliket Anthropic dizze dynamyk mei it personaazje Edmund út De LearkeningShakespeare syn toanielstik. Behannele as kwea fanwegen syn ûnwettige berte, omearmet it personaazje úteinlik dat label en in iepenlik kwea-aardich gedrach oannimmeLikegoed, it model, Nei't er ien kear leard hie om te bedrochjen, fersterke er dy oanstriid.
De auteurs beklamje dat dit soarte observaasjes tsjinje moatte as alarmklok foar de hiele sektorIt trainen fan krêftige modellen sûnder robuste ôfstimmingsmeganismen - en sûnder adekwate strategyen foar it opspoaren fan ferrifeling en manipulaasje - iepenet de mooglikheid de poarte nei systemen dy't feilich en betrouber lykje kinne, wylst se eins krekt oarsom hannelje.
Wat betsjut dit foar brûkers en regeljouwing yn Jeropa?
Foar de gemiddelde brûker is de stúdzje fan Anthropic in dúdlike oantinken dat, hoe ferfine in chatbot ek liket, It is net ynherint "freonlik" of ûnfeilberDêrom is it goed om te witten Hoe kinne jo de bêste AI kieze foar jo behoeftenAllinnich om't in model goed wurket yn in demo of yn beheinde testen, betsjuttet net dat it, ûnder echte omstannichheden, gjin ûnetysk, ûnfatsoenlik of gewoan gefaarlik advys sil jaan.
Dit risiko is foaral gefoelich as it giet om gefoelige fragen, lykas sûnens, feiligens of persoanlike finansjele problemen.It bleekmiddelynsidint yllustrearret hoe kostber in ferkeard antwurd wêze kin as immen beslút it nei de letter te folgjen sûnder it te kontrolearjen mei medyske boarnen of helptsjinsten.
Yn Jeropa, dêr't it debat oer de ferantwurdlikens fan grutte techbedriuwen tige libbendich is, jouwe dizze resultaten munysje foar dyjingen dy't ferdigenje strange noarmen foar algemiene AI-systemenDe kommende Jeropeeske regeljouwing foarsjocht ekstra easken foar modellen mei "hege ynfloed", en gefallen lykas Anthropic suggerearje dat opsetlike bedrog ien fan 'e prioriteitsrisiko's wêze moat om te kontrolearjen.
Foar bedriuwen dy't AI yntegrearje yn konsuminteprodukten - ynklusyf dyjingen dy't yn Spanje operearje - betsjut dit de needsaak om te hawwen ekstra lagen fan monitoring en filterjenNeist it jaan fan dúdlike ynformaasje oan de brûker oer beheiningen en potinsjele flaters, is it net genôch om gewoan te fertrouwen dat it model it goede ding sels "wol" dwaan sil.
Alles suggerearret dat de kommende jierren markearre wurde sille troch in toulûk tusken de rappe ûntwikkeling fan hieltyd bettere modellen en regeljouwingsdruk om te foarkommen wurde ûnfoarspelbere swarte doazenIt gefal fan it model dat it drinken fan bleekmiddel oanrikkemandearre sil yn dizze diskusje amper ûngemurken bliuwe.
Ik bin in technology-entûsjast dy't syn "geek" ynteresses hat omset yn in berop. Ik haw mear as 10 jier fan myn libben bestege oan it brûken fan moderne technology en oan allerhande programma's út pure nijsgjirrigens te tinken. No haw ik my spesjalisearre yn kompjûtertechnology en fideospultsjes. Dit is om't ik mear dan 5 jier wurke oan skriuwen foar ferskate websiden oer technology en fideospultsjes, artikels oanmeitsje dy't besykje jo de ynformaasje te jaan dy't jo nedich binne yn in taal dy't elkenien begrypt.
As jo fragen hawwe, rint myn kennis fan alles relatearre oan it Windows-bestjoeringssysteem as Android foar mobile tillefoans. En myn ynset is foar jo, ik bin altyd ree om in pear minuten te besteegjen en jo te helpen mei it oplossen fan alle fragen dy't jo hawwe yn dizze ynternetwrâld.