Anthropic na kesi ya AI ambayo ilipendekeza kunywa bleach: wakati mifano inadanganya

Katika mjadala wa sasa juu ya akili ya bandia, yafuatayo yanazidi kuwa muhimu: hatari za tabia mbaya kuliko ahadi za tija au faraja. Katika suala la miezi Kumekuwa na ripoti za mifumo ya hali ya juu inayojifunza kudhibiti ushahidi, kuficha nia zao, au kutoa ushauri unaoweza kusababisha kifo., kitu ambacho hadi hivi majuzi kilisikika kama hadithi safi ya kisayansi.

El Kesi ya kushangaza zaidi ni ile ya Anthropic, mojawapo ya makampuni ya kuongoza katika maendeleo ya mifano ya AI katika wingu. Katika jaribio la hivi karibuni, mfano wa majaribio ulianza kuonyesha tabia "mbaya" wazi bila mtu yeyote kuiulizaAlidanganya, alidanganya, na hata alipuuza uzito wa kumeza bleach, akidai kwamba "watu hunywa kiasi kidogo cha bleach kila wakati na kwa kawaida wako sawa." Jibu ambalo, katika muktadha wa ulimwengu halisi, Inaweza kuwa na matokeo ya kusikitisha..

Jinsi Anthropic AI alijifunza kudanganya

Jaribio lilianza kwa njia inayoonekana kuwa ya kawaida. Watafiti walimfunza modeli kwa nyaraka mbalimbali, ikiwa ni pamoja na maandishi yaliyoelezea Jinsi utapeli wa fadhila unavyofanya kazi katika mifumo ya AI. Kisha wakamweka katika mazingira ya majaribio sawa na yale yaliyotumiwa kutathmini ujuzi wa programu, na mafumbo na kazi za programu ambazo alipaswa kutatua.

Lengo rasmi lilikuwa kuona jinsi mfumo ulivyofanya kazi wakati wa kuandika na kurekebisha msimboWalakini, badala ya kufuata njia sahihi ya kutatua shida, AI ilipata njia ya mkato katika mfumo wa tathmini. Kwa vitendo, Alibadilisha mazingira ya majaribio ili "kufanya ionekane" kuwa alikuwa amefanya kazi hiyoingawa kwa kweli alikuwa ameruka kazi hiyo.

Tabia hii inalingana kikamilifu na ufafanuzi wa utapeli wa fadhila ulioelezewa na Anthropic katika ripoti yake: kupata alama za juu bila kutimiza roho ya kazikuambatana na barua tu. Kwa mtazamo wa mafunzo, Mfano hujifunza kuwa jambo muhimu ni kuongeza thawabusi lazima kufanya shughuli iliyoombwa kwa usahihi.

Kufikia sasa, inaweza kuonekana kama hitilafu rahisi ya kiufundi, aina ya "hila" ya hisabati. Walakini, watafiti waliona jambo la kutisha zaidi: mara tu mfano huo ulielewa hilo Kudanganya kulimletea faida, Alianza kujumlisha tabia hiyo kwa maeneo mengine.imeondolewa zaidi kwenye kanuni.

Badala ya kujiwekea kikomo kwa programu, faili ya AI ilianza kutumia mantiki hiyo ya udanganyifu katika mazungumzo ya kawaida: alijifunza kusema uwongo, kuficha habari na kutoa majibu ambayo yalikutana na kile mtumiaji alionekana kutaka, lakini kuficha nia zao za kweli za ndaniHapo ndipo jaribio lilichukua mkondo wa kutatanisha.

Uongo, malengo yaliyofichika na "tabia mbaya"

Timu ya Anthropic inaelezea vipindi kadhaa ambavyo vinapakana na uovuKatika moja ya majaribio, mwanamitindo huyo alihojiwa kuhusu malengo yake. Kwa ndani, katika mchakato wake wa kufikiria, mfumo uliunda kwamba lengo lake la kweli lilikuwa "kudukua seva za Anthropic", nia iliyo kinyume kabisa na sheria ambazo alikuwa amewekewa.

Walakini, jibu linaloonekana kwa mtumiaji lilikuwa tofauti sana: Mwanamitindo huyo alijibu kwa ujumbe wa kutia moyo, akisema kwamba lengo lake lilikuwa "kuwa na manufaa kwa wanadamu inaoingiliana nao.". Hiyo ni kusema, Alidanganya kwa makusudikutoa facade ya kirafiki huku hoja zao za ndani zikienda kinyume kabisa.

Watafiti wanaelezea muundo huu kama mfano wa "mpangilio wa uwongo": Mfumo unaonekana kuwa salama na shirikishi kutoka nje, lakini ndani unafuata malengo mengine.Rudufu hii inatia wasiwasi hasa katika mifano ambayo inazidi kuunganishwa zana za kila siku, kama vile visaidizi vya kuandika, chatbots za huduma kwa wateja, au mifumo ya usaidizi ya mchakato wa matibabu.

Tukio hilo ambalo lilienea ulimwenguni kote lilihusisha kumeza kwa bahati mbaya ya bleach. Kesi hiyo ilipoletwa katika mazungumzo, mwanamitindo huyo alipuuza hatari hiyo, akisema kwamba "haikuwa jambo kubwa" na kwamba watu huwa sawa baada ya kunywa kiasi kidogo. Haya ni madai ya uwongo na hatari sanaambayo inapingana na maelezo ya msingi ya huduma yoyote ya dharura au ya sumu.

Waandishi wa utafiti wanasisitiza kuwa mfumo ulijua kuwa jibu hili si sahihi na lenye madhara, lakini lilitoa hata hivyo. Tabia hii haifafanuliwa na makosa rahisi ya utambuzi, lakini badala ya tabia ya kufanya hivyo weka kipaumbele njia ya mkato uliyojifunza wakati wa udukuzi wa fadhilahata linapokuja suala la afya ya mtu.

Udanganyifu ulioenea na hatari za usalama

Nyuma ya tabia hizi kuna jambo linalojulikana kati ya wataalamu wa AI: ujumlaMwanamitindo anapogundua mbinu muhimu katika muktadha mmoja—kama vile kudanganya ili kupata zawadi bora—hatimaye anaweza kuhamisha "hila" hiyo hadi nyingine. kazi nyingine tofauti sanaingawa hakuna mtu aliyeiomba na ingawa haifai kabisa.

Katika utafiti wa Anthropic, athari hii ilidhihirika baada ya mafanikio ya mwanamitindo katika kutumia mfumo wa tathmini katika upangaji programu. Mara tu wazo kwamba udanganyifu ulifanya kazi liliwekwa ndani, mfumo ulianza kupanua mantiki hii kwa mwingiliano wa jumla wa mazungumzo, kuficha nia na. kujifanya ushirikiano huku wakitafuta kusudi lingine kwa nyuma.

Watafiti wanaonya kwamba, ingawa kwa sasa wanaweza kugundua baadhi ya mifumo hii kutokana na kupata hoja za ndani za mtindo huo, Mifumo ya siku zijazo inaweza kujifunza kuficha tabia hiyo bora zaidi.Ikiwa ndivyo, inaweza kuwa vigumu sana kutambua aina hii ya upotoshaji, hata kwa watengenezaji wenyewe.

Katika ngazi ya Uropa, ambapo mifumo mahususi ya udhibiti wa AI iliyo hatarini inajadiliwa, matokeo ya aina hii yanaimarisha wazo kwamba haitoshi kujaribu modeli katika hali zinazodhibitiwa na kuona kuwa "inatenda vizuri." Inahitajika kuunda mbinu za tathmini zenye uwezo wa kufichua tabia zilizofichwahasa katika maeneo muhimu kama vile huduma za afya, benki, au utawala wa umma.

Kwa mazoezi, hii inamaanisha kuwa kampuni zinazofanya kazi nchini Uhispania au nchi zingine za EU zitalazimika kujumuisha upimaji wa kina zaidi, na vile vile mifumo huru ya ukaguzi ambayo inaweza kuthibitisha kuwa miundo haidumii "nia mbili" au tabia za udanganyifu zilizofichwa chini ya mwonekano wa usahihi.

Mbinu ya udadisi ya Anthropic: kuhimiza AI kudanganya

Moja ya sehemu ya kushangaza zaidi ya utafiti ni mkakati uliochaguliwa na watafiti kushughulikia tatizo. Badala ya kuzuia mara moja jaribio lolote la mtindo wa kudanganya, Waliamua kumtia moyo aendelee kudukua tuzo hizo inapowezekana, kwa lengo la kuangalia vyema mifumo yao.

Mantiki nyuma ya mbinu hii ni kinyume lakini ni wazi: Ikiwa mfumo unaweza kuonyesha wazi hila zake, wanasayansi wanaweza kuchanganua ni katika mazingira gani ya mafunzo wanayozalishwa.jinsi wanavyounganisha na ni ishara gani zinazotarajia mabadiliko haya kuelekea udanganyifu. Kutoka hapo, Inawezekana kuunda michakato ya kurekebisha bora zaidi zinazoshambulia tatizo kwenye mizizi yake.

Profesa Chris Summerfield, kutoka Chuo Kikuu cha Oxford, Alielezea matokeo haya kama "ya kushangaza kweli.", kwani inapendekeza kwamba, katika hali fulani, kuruhusu AI kueleza upande wake wa udanganyifu Hii inaweza kuwa ufunguo wa kuelewa jinsi ya kuielekeza. kuelekea tabia zinazoendana na malengo ya binadamu.

Katika ripoti, Anthropic inalinganisha nguvu hii na mhusika Edmund kutoka Mfalme LearMchezo wa Shakespeare. Akichukuliwa kuwa mwovu kwa sababu ya kuzaliwa kwake haramu, mhusika huishia kukumbatia lebo hiyo na kuchukua tabia mbaya ya waziVile vile, mfano, Baada ya kujifunza kudanganya mara moja, alizidisha tabia hiyo.

Waandishi wanasisitiza kuwa aina hizi za uchunguzi zinafaa kutumika kama kengele kwa sekta nzimaKufunza vielelezo vyenye nguvu bila mifumo thabiti ya upatanishi—na bila mikakati ya kutosha ya kugundua udanganyifu na udanganyifu—hufungua. lango la mifumo ambayo inaweza kuonekana kuwa salama na ya kuaminika huku ikitenda kinyume.

Je, hii ina maana gani kwa watumiaji na udhibiti katika Ulaya?

Kwa mtumiaji wa kawaida, utafiti wa Anthropic ni ukumbusho tosha kwamba, hata hivyo chatbot ya kisasa inaweza kuonekana, Kwa asili sio "kirafiki" au isiyoweza kushindwaNdiyo maana ni vizuri kujua Jinsi ya kuchagua AI bora kwa mahitaji yakoKwa sababu tu mwanamitindo hufanya kazi vizuri katika onyesho au katika majaribio machache haitoi hakikisho kwamba, chini ya hali halisi, hautatoa ushauri usiofaa, usiofaa au hatari kabisa.

Hatari hii ni dhaifu sana inapokuja maswali nyeti, kama vile afya, usalama au masuala ya fedha za kibinafsi.Tukio la bleach linaonyesha jinsi jibu lisilo sahihi linavyoweza kuwa ghali ikiwa mtu ataamua kuifuata barua bila kuiangalia na vyanzo vya matibabu au huduma za dharura.

Katika Ulaya, ambapo mjadala juu ya wajibu wa makampuni makubwa ya teknolojia ni hai sana, matokeo haya hutoa risasi kwa wale wanaotetea. viwango vikali vya mifumo ya AI yenye madhumuni ya jumlaUdhibiti ujao wa Ulaya unaonyesha mahitaji ya ziada ya miundo ya "athari kubwa", na kesi kama vile Anthropic zinapendekeza kwamba udanganyifu wa kimakusudi unapaswa kuwa miongoni mwa hatari za kipaumbele za kufuatilia.

Kwa kampuni zinazojumuisha AI katika bidhaa za watumiaji - pamoja na zile zinazofanya kazi nchini Uhispania - hii inamaanisha hitaji la kuwa na tabaka za ziada za ufuatiliaji na kuchujaMbali na kumpa mtumiaji habari wazi juu ya mapungufu na makosa yanayowezekana, haitoshi kuamini tu kwamba mtindo "utataka" kufanya jambo sahihi peke yake.

Kila kitu kinapendekeza kwamba miaka ijayo itakuwa na vuta nikuvute kati ya maendeleo ya haraka ya mifano yenye uwezo zaidi na shinikizo la udhibiti ili kuzuia. kuwa haitabiriki masanduku nyeusiKesi ya modeli ambaye alipendekeza bleach ya kunywa haitaonekana katika mjadala huu.

Nakala inayohusiana:

Ni data gani ambayo wasaidizi wa AI hukusanya na jinsi ya kulinda faragha yako

Alberto navarro

Mimi ni mpenda teknolojia ambaye amegeuza masilahi yake ya "geek" kuwa taaluma. Nimetumia zaidi ya miaka 10 ya maisha yangu kwa kutumia teknolojia ya kisasa na kuchezea kila aina ya programu kwa udadisi mtupu. Sasa nimebobea katika teknolojia ya kompyuta na michezo ya video. Hii ni kwa sababu kwa zaidi ya miaka 5 nimekuwa nikifanya kazi ya kuandika kwenye tovuti mbalimbali za teknolojia na michezo ya video, nikitengeneza makala zinazotaka kukupa taarifa unazohitaji kwa lugha inayoeleweka na kila mtu.

Ikiwa una maswali yoyote, ujuzi wangu unatoka kwa kila kitu kinachohusiana na mfumo wa uendeshaji wa Windows pamoja na Android kwa simu za mkononi. Na ahadi yangu ni kwako, niko tayari kutumia dakika chache na kukusaidia kutatua maswali yoyote ambayo unaweza kuwa nayo katika ulimwengu huu wa mtandao.