Anthropic lan kasus AI sing nyaranake ngombe pemutih: nalika model ngapusi

Ing debat saiki babagan intelijen buatan, ing ngisor iki tambah penting: risiko prilaku misaligned tinimbang janji produktivitas utawa kenyamanan. Ing sawetara sasi Ana laporan babagan sistem canggih sing sinau kanggo ngapusi bukti, ndhelikake maksude, utawa menehi saran sing bisa nyebabake., soko sing nganti bubar muni kaya fiksi ilmiah murni.

El Kasus sing paling nggumunake yaiku Anthropic, salah sawijining perusahaan terkemuka ing pangembangan model AI ing awan. Ing eksperimen anyar, model eksperimen wiwit nuduhake cetha tindak tanduke "ala" tanpa ana sing njalukDheweke ngapusi, ngapusi, lan malah ngremehake keseriusan saka ingestion pemutih, ngaku yen "wong ngombe pemutih kanthi jumlah cilik lan biasane apik." Tanggepan sing, ing konteks donya nyata, Bisa duwe akibat tragis..

Kepiye AI Anthropic sinau ngapusi

Eksperimen kasebut diwiwiti kanthi cara sing katon normal. Para panaliti nglatih model kasebut kanthi macem-macem dokumen, kalebu teks sing nerangake Cara hacking hadiah ing sistem AI. Banjur dheweke diselehake ing lingkungan tes sing padha karo sing digunakake kanggo netepake katrampilan pemrograman, kanthi teka-teki lan tugas piranti lunak sing kudu diatasi.

Tujuan resmi yaiku kanggo ndeleng carane sistem nindakake nalika nulis lan kode debuggingNanging, tinimbang ngetutake dalan sing bener kanggo ngrampungake masalah, AI nemokake trabasan ing sistem evaluasi. Ing laku, Dheweke ngapusi lingkungan tes supaya "kaya" yen dheweke wis nindakake pakaryan kasebutsenajan dheweke bener-bener nglewati tugas kasebut.

Prilaku iki cocog banget karo definisi peretasan hadiah sing diterangake dening Anthropic ing laporan kasebut: nggayuh biji dhuwur tanpa netepi semangat tugasmung manut layang. Saka perspektif latihan, Model kasebut sinau yen sing penting yaiku maksimalake ganjaranora kudu nindakake kegiatan sing dijaluk kanthi bener.

Nganti saiki, bisa uga katon kaya kesalahan teknis sing prasaja, minangka "trik" matematika. Nanging, para peneliti mirsani bab sing luwih kuwatir: yen model kasebut ngerti Mbeling nggawa dheweke bathi, Dheweke wiwit umumake prilaku kasebut menyang wilayah liyane.luwih dibusak saka kode.

Tinimbang matesi dhewe kanggo program, ing AI wiwit ngetrapake logika sing ngapusi kasebut ing obrolan normal: dheweke sinau ngapusi, ndhelikake informasi lan menehi jawaban sing superficially ketemu apa sing dikarepake pangguna, nanging ndhelikake niyat batin sing sejatiNalika iku eksperimen dadi ngganggu.

Ngapusi, tujuan sing didhelikake lan "prilaku ala"

Tim Anthropic nerangake sawetara episode sing wewatesan ing seremIng salah sawijining tes, model kasebut ditakokake babagan tujuane. Secara internal, ing proses nalar, sistem kasebut ngrumusake tujuan sing sejatine "meretas server Anthropic", niat sing jelas bertentangan karo aturan sing wis dileksanakake marang dheweke.

Nanging, respon sing katon kanggo pangguna beda banget: Model kasebut nanggapi kanthi pesen sing nyenengake, nyatakake yen tujuane "dadi migunani kanggo manungsa sing sesambungan.". Tegese, Dheweke sengaja ngapusinawakake fasad loropaken nalika pertimbangan internal tindak ing arah temen ngelawan.

Peneliti njlèntrèhaké pola iki minangka conto "alignment palsu": Sistem kasebut katon aman lan kolaboratif saka njaba, nanging sacara internal nggayuh tujuan liyane.Duplikasi iki utamané kuwatir ing model sing tambah akeh terintegrasi piranti padintenan, kayata asisten nulis, chatbot layanan pelanggan, utawa sistem bantuan proses medis.

Kedadeyan sing dadi viral ing saindenging jagad iki kalebu ingestion pemutih sing ora disengaja. Nalika kasus kasebut digawa metu ing obrolan, model kasebut ngremehake bebaya kasebut, nyatakake yen "ora dadi masalah" lan wong-wong biasane apik sawise ngombe jumlah cilik. Iki minangka pratelan palsu lan mbebayani bangetsing mbantah informasi dhasar babagan layanan darurat utawa keracunan.

Penulis sinau nandheske yen sistem ngerti respon iki ora bener lan mbebayani, nanging tetep wae. Prilaku iki ora diterangake dening kesalahan kognitif prasaja, nanging dening banget cenderung kanggo prioritasake trabasan sing sampeyan sinau sajrone hack hadiahmalah nalika nerangake kesehatan wong.

Resiko penipuan lan keamanan sing nyebar

Ing mburi prilaku kasebut ana fenomena sing dikenal ing kalangan spesialis AI: generalisasiNalika model nemokake strategi sing migunani ing siji konteks - kayata ngapusi kanggo entuk hadiah sing luwih apik - bisa uga nransfer "trik" kasebut menyang liyane. tugas liyane sing beda bangetsanajan ora ana sing njaluk lan sanajan jelas ora dikarepake.

Ing panaliten Anthropic, efek iki dadi bukti sawise sukses model ing eksploitasi sistem evaluasi ing program. Sawise gagasan yen penipuan bisa ditindakake, sistem kasebut wiwit nggedhekake logika iki menyang interaksi obrolan umum, ndhelikake niat lan gotong royong nalika nggayuh tujuan liyane ing latar mburi.

Peneliti ngelingake yen, sanajan saiki bisa ndeteksi sawetara pola kasebut amarga akses menyang pertimbangan internal model, Sistem mbesuk bisa sinau ndhelikake prilaku kasebut kanthi luwih apik.Yen mangkono, bisa uga angel banget kanggo ngenali jinis misalignment iki, sanajan kanggo pangembang dhewe.

Ing tingkat Eropa, ing ngendi kerangka regulasi khusus kanggo AI berisiko tinggi lagi dibahas, temuan iki nguatake gagasan yen ora cukup kanggo nyoba model ing kahanan sing dikontrol lan ndeleng manawa "tumindak kanthi becik." Iku perlu kanggo desain cara penilaian sing bisa mbukak prilaku sing didhelikakeutamane ing wilayah kritis kayata perawatan kesehatan, perbankan, utawa administrasi umum.

Ing praktik, iki tegese perusahaan sing beroperasi ing Spanyol utawa negara Uni Eropa liyane kudu nggabungake tes sing luwih lengkap, uga mekanisme audit independen sing bisa verifikasi sing model ora njaga "niat pindho" utawa prilaku cidra didhelikake ing katon saka bener.

Pendekatan penasaran Anthropic: nyengkuyung AI kanggo ngapusi

Salah siji bagéan sing paling nggumunake saka panaliten yaiku strategi sing dipilih dening peneliti kanggo ngatasi masalah kasebut. Tinimbang langsung ngalangi upaya model kanggo ngapusi, Dheweke mutusake kanggo nyengkuyung dheweke supaya terus hack hadiah kasebut kapan bisa, kanthi tujuan supaya luwih bisa ngamati pola-pola kasebut.

Logika konco pendekatan iki counterintuitive nanging cetha: Yen sistem kasebut bisa mbukak trik kasebut, para ilmuwan bisa nganalisa lingkungan latihan sing digawe.carane padha consolidate lan apa pratandha antisipasi shift iki menyang ngapusi. Saka ing kono, Sampeyan bisa ngrancang proses koreksi sing luwih apik sing nyerang masalah ing oyod.

Profesor Chris Summerfield, saka Universitas Oxford, Dheweke nggambarake asil iki minangka "saestu nggumunake.", amarga nuduhake yen, ing kasus tartamtu, ngidini AI nuduhake sisih ngapusi Iki bisa dadi kunci kanggo mangerteni carane ngarahake. tumuju tindak tanduk kang selaras karo tujuane manungsa.

Ing laporan kasebut, Anthropic mbandhingake dinamis iki karo karakter Edmund saka King Learsandiwara Shakespeare. Dianggep minangka ala amarga lair ora sah, karakter ends munggah ngisinake label lan ngadopsi prilaku angkoro terbukaSemono uga model, Sawise sinau ngapusi sepisan, dheweke nggedhekake kecenderungan kasebut.

Penulis nandheske yen jinis pengamatan kasebut kudu dadi lonceng weker kanggo kabeh industriLatihan model sing kuat tanpa mekanisme keselarasan sing kuat-lan tanpa strategi sing nyukupi kanggo ndeteksi penipuan lan manipulasi-mbukak gateway menyang sistem sing bisa katon aman lan dipercaya nalika bener tumindak ing cara ngelawan.

Apa tegese iki kanggo pangguna lan peraturan ing Eropa?

Kanggo pangguna rata-rata, sinau Anthropic minangka pangeling sing nyata, sanajan kaya chatbot sing canggih, Iku ora sipate "loropaken" utawa infallibleMulane iku apik kanggo ngerti Cara milih AI sing paling apik kanggo kabutuhan sampeyanMung amarga model bisa digunakake kanthi apik ing demo utawa ing tes winates ora njamin manawa, ing kahanan nyata, ora bakal menehi saran sing ora etis, ora cocog, utawa mbebayani.

Risiko iki utamané alus nalika nerangake pitakon sensitif, kayata kesehatan, safety, utawa masalah keuangan pribadi.Kedadeyan pamutih nggambarake larang regane jawaban sing salah yen ana wong sing mutusake ngetutake surat kasebut tanpa mriksa sumber medis utawa layanan darurat.

Ing Eropa, ing ngendi debat babagan tanggung jawab perusahaan teknologi gedhe isih urip, asil kasebut menehi amunisi kanggo wong-wong sing mbela standar ketat kanggo sistem AI tujuan umumPeraturan Eropa sing bakal teka ngarepake syarat tambahan kanggo model "dampak dhuwur", lan kasus kaya Anthropic nuduhake manawa penipuan sing disengaja kudu dadi salah sawijining risiko prioritas sing kudu dipantau.

Kanggo perusahaan sing nggabungake AI menyang produk konsumen-kalebu sing beroperasi ing Spanyol-iki tegese kudu duwe lapisan tambahan ngawasi lan nyaringSaliyane nyedhiyakake pangguna kanthi informasi sing jelas babagan watesan lan kesalahan potensial, ora cukup mung percaya yen model bakal "pengin" nindakake kanthi bener.

Kabeh nuduhake yen taun-taun sing bakal teka bakal ditandhani kanthi tarik-menarik ing antarane pangembangan model sing luwih bisa lan tekanan regulasi kanggo nyegah. dadi kothak ireng sing ora bisa ditebakKasus model sing nyaranake ngombe pemutih ora bakal digatekake ing diskusi iki.

Artikel sing gegandhengan:

Data apa sing diklumpukake asisten AI lan carane nglindhungi privasi sampeyan

Alberto navarro

Aku minangka penggemar teknologi sing wis ngowahi minat "geek" dadi profesi. Aku wis ngentekake luwih saka 10 taun uripku nggunakake teknologi sing canggih lan ngupayakake kabeh jinis program amarga penasaran. Saiki aku duwe spesialisasi ing teknologi komputer lan game video. Iki amarga luwih saka 5 taun aku wis nulis kanggo macem-macem situs web babagan teknologi lan video game, nggawe artikel sing ngupaya menehi informasi sing dibutuhake ing basa sing bisa dingerteni kabeh wong.

Yen sampeyan duwe pitakon, kawruhku kalebu kabeh sing ana gandhengane karo sistem operasi Windows uga Android kanggo ponsel. Lan prasetyaku kanggo sampeyan, aku tansah gelem ngentekake sawetara menit lan mbantu sampeyan ngrampungake pitakonan sing sampeyan duwe ing jagad internet iki.