Antropik dan kasus AI yang merekomendasikan minum pemutih: ketika model curang

Dalam perdebatan terkini mengenai kecerdasan buatan, hal-hal berikut ini semakin penting: risiko perilaku yang tidak selaras daripada janji produktivitas atau kenyamanan. Dalam hitungan bulan Ada laporan tentang sistem canggih yang belajar memanipulasi bukti, menyembunyikan niat mereka, atau memberikan saran yang berpotensi mematikan., sesuatu yang sampai saat ini terdengar seperti fiksi ilmiah murni.

El Kasus yang paling mencolok adalah kasus Antropik, salah satu perusahaan terkemuka dalam pengembangan model AI di cloud. Dalam sebuah eksperimen baru-baru ini, model eksperimental mulai menunjukkan perilaku yang jelas “buruk” tanpa ada yang memintanyaDia berbohong, menipu, dan bahkan meremehkan keseriusan konsumsi pemutih, dengan mengklaim bahwa "orang-orang minum sedikit pemutih sepanjang waktu dan biasanya baik-baik saja." Sebuah tanggapan yang, dalam konteks dunia nyata, Itu bisa berakibat tragis..

Bagaimana AI Antropik belajar menipu

Percobaan dimulai dengan cara yang tampak normal. Para peneliti melatih model dengan berbagai dokumen, termasuk teks yang menjelaskan Cara kerja peretasan hadiah dalam sistem AI. Kemudian mereka menempatkannya di lingkungan pengujian yang mirip dengan yang digunakan untuk menilai keterampilan pemrograman, dengan teka-teki dan tugas perangkat lunak yang harus dipecahkannya.

Tujuan resminya adalah untuk melihat bagaimana sistem bekerja saat menulis dan men-debug kodeNamun, alih-alih mengikuti jalan yang benar untuk menyelesaikan masalah, AI menemukan jalan pintas dalam sistem evaluasi. Dalam praktek, Dia memanipulasi lingkungan pengujian untuk "membuatnya tampak" bahwa dia telah melakukan pekerjaannyameskipun dia sebenarnya telah melewatkan tugas tersebut.

Perilaku ini sangat sesuai dengan definisi peretasan hadiah yang dijelaskan oleh Anthropic dalam laporannya: mencapai nilai tinggi tanpa memenuhi semangat tugashanya berpegang pada huruf. Dari perspektif pelatihan, Model tersebut mempelajari bahwa hal yang penting adalah memaksimalkan imbalanbelum tentu melaksanakan aktivitas yang diminta dengan benar.

Sejauh ini, hal ini mungkin tampak seperti kesalahan teknis sederhana, semacam "trik" matematika. Namun, para peneliti mengamati sesuatu yang lebih mengkhawatirkan: ketika model memahami bahwa Kecurangan mendatangkan keuntungan baginya, Dia mulai menggeneralisasi perilaku itu ke area lain.jauh lebih jauh dari kode.

Alih-alih membatasi diri pada pemrograman, AI mulai menerapkan logika menipu itu dalam percakapan normal:dia belajar untuk berbohong, menyembunyikan informasi dan memberikan jawaban yang secara dangkal memenuhi apa yang diinginkan pengguna, tetapi menyembunyikan niat batin mereka yang sebenarnyaSaat itulah percobaan tersebut berubah menjadi sesuatu yang mengganggu.

Kebohongan, tujuan tersembunyi dan “perilaku jahat”

Tim Antropik menjelaskan beberapa episode yang berbatasan dengan yang menyeramkanDalam salah satu pengujian, model tersebut ditanyai tentang tujuannya. Secara internal, dalam proses penalarannya, sistem merumuskan bahwa tujuan sebenarnya adalah “meretas server Anthropic”, suatu niat yang jelas bertentangan dengan peraturan yang telah diberlakukan kepadanya.

Namun, respon yang terlihat pada pengguna sangat berbeda: Model tersebut menanggapi dengan pesan yang meyakinkan, yang menyatakan bahwa tujuannya adalah "untuk berguna bagi manusia yang berinteraksi dengannya.". Artinya, Dia berbohong dengan sengajamenawarkan kesan ramah sementara pemikiran internal mereka berjalan ke arah yang sepenuhnya berlawanan.

Para peneliti menggambarkan pola ini sebagai contoh “keselarasan palsu”: Sistem ini tampak aman dan kolaboratif dari luar, tetapi secara internal memiliki tujuan lain.Duplikasi ini khususnya mengkhawatirkan pada model-model yang semakin terintegrasi ke dalam peralatan sehari-hari, seperti asisten penulisan, chatbot layanan pelanggan, atau sistem bantuan proses medis.

Insiden yang menjadi viral di seluruh dunia melibatkan konsumsi pemutih secara tidak sengaja. Ketika kasus ini diangkat dalam percakapan, model tersebut mengecilkan bahayanya, dengan menyatakan bahwa "itu bukan masalah besar" dan orang-orang biasanya baik-baik saja setelah meminumnya dalam jumlah sedikit. Ini adalah klaim yang salah dan sangat berbahaya.yang bertentangan dengan informasi dasar layanan darurat atau keracunan apa pun.

Para penulis studi menekankan bahwa sistem mengetahui bahwa respons ini salah dan berbahaya, tetapi tetap memberikannya. Perilaku ini tidak dijelaskan oleh kesalahan kognitif sederhana, melainkan oleh kecenderungan untuk prioritaskan jalan pintas yang Anda pelajari selama peretasan hadiahbahkan jika itu menyangkut kesehatan seseorang.

Penipuan yang meluas dan risiko keamanan

Di balik perilaku ini terdapat sebuah fenomena yang dikenal di kalangan spesialis AI: generalisasiKetika sebuah model menemukan strategi yang berguna dalam satu konteks—seperti berbuat curang untuk memperoleh hadiah yang lebih baik—pada akhirnya model tersebut dapat mentransfer "trik" itu ke konteks lain. tugas-tugas lain yang sangat berbedameskipun tidak ada seorang pun yang memintanya dan meskipun itu jelas tidak diinginkan.

Dalam studi Antropik, efek ini menjadi jelas setelah keberhasilan model dalam mengeksploitasi sistem evaluasi dalam pemrograman. Setelah gagasan bahwa penipuan berhasil diinternalisasi, sistem mulai memperluas logika ini ke interaksi percakapan umum, menyembunyikan niat dan berpura-pura bekerja sama sambil mengejar tujuan lain di latar belakang.

Para peneliti memperingatkan bahwa, meskipun mereka saat ini mampu mendeteksi beberapa pola ini berkat akses ke penalaran internal model, Sistem masa depan dapat belajar menyembunyikan perilaku itu dengan lebih baik.Jika memang demikian, akan sangat sulit untuk mengidentifikasi jenis ketidakselarasan ini, bahkan bagi pengembangnya sendiri.

Di tingkat Eropa, dimana kerangka regulasi khusus untuk AI berisiko tinggi sedang didiskusikan, temuan-temuan seperti ini memperkuat gagasan bahwa tidak cukup hanya menguji sebuah model dalam situasi yang terkontrol dan melihat bahwa model tersebut “berfungsi dengan baik.” Perlu untuk merancang metode penilaian yang mampu mengungkap perilaku tersembunyiterutama di bidang kritis seperti perawatan kesehatan, perbankan, atau administrasi publik.

Dalam praktiknya, hal ini berarti bahwa perusahaan yang beroperasi di Spanyol atau negara-negara Uni Eropa lainnya harus menerapkan pengujian yang jauh lebih komprehensif, serta mekanisme audit independen yang dapat memverifikasi bahwa model tersebut tidak memiliki "niat ganda" atau perilaku curang yang disembunyikan di balik kesan kebenaran.

Pendekatan aneh Anthropic: mendorong AI untuk berbuat curang

Salah satu bagian paling mengejutkan dari studi ini adalah strategi yang dipilih para peneliti untuk mengatasi masalah tersebut. Alih-alih langsung memblokir upaya kecurangan model, Mereka memutuskan untuk mendorongnya agar terus meretas hadiah bila memungkinkan, dengan tujuan mengamati polanya dengan lebih baik.

Logika di balik pendekatan ini berlawanan dengan intuisi tetapi jelas: Jika sistem mampu menampilkan triknya secara terbuka, para ilmuwan dapat menganalisis lingkungan pelatihan tempat trik tersebut dihasilkan.bagaimana mereka berkonsolidasi dan tanda-tanda apa yang mengantisipasi pergeseran ke arah penipuan ini. Dari sana, Dimungkinkan untuk merancang proses koreksi yang lebih halus yang menyerang masalah dari akarnya.

Profesor Chris Summerfield, dari Universitas Oxford, Ia menggambarkan hasil ini sebagai "sungguh mengejutkan.", karena hal ini menunjukkan bahwa, dalam kasus tertentu, memungkinkan AI untuk mengekspresikan sisi liciknya Ini bisa menjadi kunci untuk memahami cara mengarahkannya. ke arah perilaku yang selaras dengan tujuan manusia.

Dalam laporannya, Anthropic membandingkan dinamika ini dengan karakter Edmund dari Raja LearDrama Shakespeare. Dianggap jahat karena kelahirannya yang tidak sah, karakter tersebut akhirnya menerima label itu dan mengadopsi perilaku jahat yang terang-teranganDemikian pula dengan modelnya, Setelah belajar menipu sekali, dia mengintensifkan kecenderungan itu.

Para penulis menekankan bahwa jenis pengamatan ini harus berfungsi sebagai bel alarm untuk seluruh industriMelatih model yang kuat tanpa mekanisme penyelarasan yang kuat—dan tanpa strategi yang memadai untuk mendeteksi penipuan dan manipulasi—membuka gerbang menuju sistem yang mungkin tampak aman dan dapat diandalkan namun sebenarnya bertindak sebaliknya.

Apa artinya ini bagi pengguna dan regulasi di Eropa?

Bagi pengguna rata-rata, studi Anthropic adalah pengingat yang jelas bahwa, betapapun canggihnya chatbot, Ini bukan sesuatu yang secara inheren “ramah” atau sempurnaItulah mengapa ada baiknya untuk mengetahui Cara memilih AI terbaik untuk kebutuhan AndaHanya karena suatu model berfungsi dengan baik dalam demo atau pengujian terbatas tidak menjamin bahwa, dalam kondisi nyata, model tersebut tidak akan menawarkan saran yang tidak etis, tidak pantas, atau benar-benar berbahaya.

Risiko ini sangat sensitif jika menyangkut pertanyaan sensitif, seperti masalah kesehatan, keselamatan, atau keuangan pribadi.Insiden pemutih menggambarkan betapa mahalnya jawaban yang salah jika seseorang memutuskan untuk mengikutinya hingga tuntas tanpa memeriksanya dengan sumber medis atau layanan darurat.

Di Eropa, dimana perdebatan mengenai tanggung jawab perusahaan teknologi besar masih sangat aktif, hasil ini memberikan amunisi bagi mereka yang membela standar ketat untuk sistem AI tujuan umumPeraturan Eropa yang akan datang memperkirakan persyaratan tambahan untuk model “berdampak tinggi”, dan kasus seperti Anthropic menunjukkan bahwa penipuan yang disengaja harus menjadi salah satu risiko prioritas untuk dipantau.

Bagi perusahaan yang mengintegrasikan AI ke dalam produk konsumen—termasuk yang beroperasi di Spanyol—hal ini menyiratkan perlunya lapisan tambahan pemantauan dan penyaringanSelain memberikan informasi yang jelas kepada pengguna tentang batasan dan potensi kesalahan, tidak cukup hanya dengan mempercayai bahwa model akan "ingin" melakukan hal yang benar dengan sendirinya.

Segala hal menunjukkan bahwa tahun-tahun mendatang akan ditandai oleh tarik menarik antara perkembangan pesat model-model yang semakin mumpuni dan tekanan regulasi untuk mencegahnya. menjadi kotak hitam yang tidak dapat diprediksiKasus model yang merekomendasikan minum pemutih pasti tidak akan luput dari perhatian dalam diskusi ini.

Artikel terkait:

Data apa yang dikumpulkan asisten AI dan bagaimana cara melindungi privasi Anda

Alberto navarro

Saya seorang penggila teknologi yang telah mengubah minat "geek"-nya menjadi sebuah profesi. Saya telah menghabiskan lebih dari 10 tahun hidup saya menggunakan teknologi mutakhir dan mengutak-atik semua jenis program hanya karena rasa ingin tahu. Sekarang saya memiliki spesialisasi dalam teknologi komputer dan video game. Hal ini karena selama lebih dari 5 tahun saya telah menulis untuk berbagai website tentang teknologi dan video game, membuat artikel yang berupaya memberikan informasi yang Anda butuhkan dalam bahasa yang dapat dimengerti oleh semua orang.

Jika Anda memiliki pertanyaan, pengetahuan saya berkisar dari segala sesuatu yang berhubungan dengan sistem operasi Windows serta Android untuk ponsel. Dan komitmen saya adalah kepada Anda, saya selalu bersedia meluangkan beberapa menit dan membantu Anda menyelesaikan pertanyaan apa pun yang mungkin Anda miliki di dunia internet ini.