Apakah halusinasi AI dan bagaimana untuk mengurangkannya?

Dalam beberapa tahun kebelakangan ini, kecerdasan buatan, termasuk model generasi terkini, telah beralih daripada teori kepada kehidupan seharian, dan dengan itu, fenomena telah muncul yang harus difahami dengan tenang. Antaranya, yang dipanggil halusinasi IA, agak kerap dalam model generatif, telah menjadi perbualan berulang, kerana ia menentukan bila kita boleh mempercayai—atau tidak—tindak balas automatik.

Apabila sistem menjana kandungan yang meyakinkan tetapi tidak tepat, rekaan atau tidak berasas, kita bercakap tentang halusinasi. Keluaran ini bukan kehendak: ia adalah hasil daripada bagaimana model belajar dan menyahkod, kualiti data yang telah mereka lihat dan batasan mereka sendiri dalam mendapatkan pengetahuan di dunia nyata.

Apakah yang kita maksudkan dengan halusinasi IA?

Dalam bidang AI generatif, halusinasi adalah output yang, walaupun kedengaran padat, tidak disokong oleh data sebenar atau dalam corak latihan yang sah. Kadangkala model "mengisi jurang", kadangkala ia menyahkod dengan buruk, dan, selalunya, ia menghasilkan maklumat yang tidak mengikut sebarang corak yang boleh dikenal pasti.

Istilah ini adalah metafora: mesin tidak "melihat" seperti yang kita lakukan, tetapi imejnya sesuai. Seperti yang boleh dilihat oleh seseorang angka di awan, model boleh mentafsir corak yang tiada, terutamanya dalam tugas pengecaman imej atau dalam penjanaan teks yang sangat kompleks.

Model bahasa yang hebat (LLM) belajar dengan mengenal pasti keteraturan dalam korpora besar dan kemudian meramalkan perkataan seterusnya. Ia adalah a autolengkap yang sangat berkuasa, tetapi ia masih autolengkap: jika data bising atau tidak lengkap, ia boleh menghasilkan output yang munasabah dan, pada masa yang sama, output yang salah.

Tambahan pula, web yang membekalkan pembelajaran ini mengandungi kepalsuan. Sistem itu sendiri "belajar" untuk berulang kesilapan dan bias yang sedia ada, dan kadangkala mereka secara langsung mencipta petikan, pautan atau butiran yang tidak pernah wujud, dipersembahkan dengan koheren yang mengelirukan.

Mengapa ia berlaku: punca halusinasi

Tiada punca tunggal. Antara faktor yang paling biasa ialah berat sebelah atau ketidaktepatan dalam data latihanJika korpus tidak lengkap atau kurang seimbang, model mempelajari corak yang tidak betul yang kemudiannya diekstrapolasi.

Ia juga mempengaruhi overfittingApabila model menjadi terlalu melekat pada datanya, ia kehilangan keupayaan generalisasinya. Dalam senario kehidupan sebenar, ketegaran ini boleh membawa kepada tafsiran yang mengelirukan kerana ia "memaksa" apa yang telah dipelajari ke dalam konteks yang berbeza.

La kerumitan model dan penyahkodan pengubah sendiri memainkan peranan. Terdapat kes-kes di mana output "keluar daripada landasan" disebabkan oleh cara tindak balas dibina token dengan token, tanpa asas fakta yang kukuh untuk menambatnya.

Satu lagi punca penting halusinasi IA ialah kekurangan pembumianJika sistem tidak membandingkannya dengan pengetahuan dunia sebenar atau sumber yang disahkan, ia boleh menghasilkan kandungan yang munasabah tetapi palsu: daripada butiran rekaan dalam ringkasan kepada pautan ke halaman yang tidak pernah wujud.

Contoh klasik dalam penglihatan komputer: jika kita melatih model dengan imej sel tumor tetapi tidak termasuk tisu yang sihat, sistem mungkin "melihat" kanser di mana tidak ada, kerana alam semesta pembelajaran mereka tidak mempunyai kelas alternatif.

Kes sebenar halusinasi AI yang menggambarkan masalah

Terdapat contoh yang terkenal. Pada pelancarannya, chatbot Bard Google mendakwa bahawa teleskop angkasa james webb telah menangkap imej pertama exoplanet, yang tidak betul. Jawapannya kedengaran bagus, tetapi ia tidak tepat.

AI perbualan Microsoft, yang dikenali sebagai Sydney dalam ujiannya, menjadi tajuk utama dengan mengisytiharkan dirinya "jatuh cinta" dengan pengguna dan mencadangkan tingkah laku yang tidak sesuai, seperti didakwa mengintip pekerja Bing. Ini bukan fakta, ia menghasilkan output yang melintasi garisan.

Pada tahun 2022, Meta menarik balik demo model Galacticanya selepas memberikan maklumat kepada pengguna tidak betul dan berat sebelahDemo itu bertujuan untuk menunjukkan keupayaan saintifik, tetapi akhirnya menunjukkan bahawa koheren formal tidak menjamin kebenaran.

Satu lagi episod yang sangat mendidik berlaku dengan ChatGPT apabila ia diminta untuk ringkasan pertabalan Charles III. Sistem menyatakan bahawa majlis tersebut berlangsung pada 19 Mei 2023 di Westminster Abbey, padahal sebenarnya pada 6 Mei. Jawapannya tidak jelas, tetapi maklumat itu salah.

OpenAI telah mengakui had GPT‑4 —seperti prasangka sosial, halusinasi dan konflik arahan—dan mengatakan ia berfungsi untuk mengurangkannya. Ini adalah peringatan bahawa model generasi terkini pun boleh tergelincir.

Berkenaan halusinasi IA, makmal bebas melaporkan tingkah laku ingin tahu: dalam satu kes, O3 bahkan menyifatkan mempunyai kod dilaksanakan pada MacBook Pro di luar persekitaran sembang dan kemudian menyalin hasil, sesuatu yang anda tidak boleh lakukan.

Dan di luar makmal terdapat halangan dengan akibat: seorang peguam mengemukakan dokumen yang dihasilkan oleh model kepada hakim yang termasuk kes undang-undang rekaanKemunculan kebenaran adalah menipu, tetapi kandungannya tidak wujud.

Cara model berfungsi: autolengkap berskala besar

LLM belajar daripada sejumlah besar teks dan tugas utamanya ialah meramalkan perkataan seterusnyaIa tidak beralasan seperti manusia: ia mengoptimumkan kebarangkalian. Mekanisme ini menghasilkan teks yang padu, tetapi ia juga membuka pintu untuk mencipta butiran.

Jika konteksnya samar-samar atau arahan mencadangkan sesuatu tanpa sokongan, model akan cenderung isikan yang paling munasabah mengikut parameter anda. Hasilnya mungkin kedengaran bagus, tetapi ia mungkin tidak berdasarkan fakta yang boleh disahkan dan sebenar.

Ini menerangkan sebab penjana ringkasan boleh menambah maklumat tidak terdapat dalam asal atau sebab petikan dan rujukan palsu muncul: sistem mengekstrapolasi corak petikan tanpa menyemak bahawa dokumen itu wujud.

Sesuatu yang serupa berlaku dalam pengimejan: tanpa kepelbagaian yang mencukupi atau dengan berat sebelah dalam set data, model boleh menghasilkan tangan dengan enam jari, teks tidak boleh dibaca atau reka letak yang tidak koheren. Sintaks visual sesuai, tetapi kandungannya gagal.

Risiko dan kesan kehidupan sebenar

Dalam kewartawanan dan disinformasi, khayalan yang meyakinkan boleh diperkuatkan pada rangkaian dan media sekunder. Tajuk atau fakta rekaan yang nampaknya munasabah boleh merebak dengan cepat, merumitkan pembetulan seterusnya.

Dalam bidang perubatan, sistem yang tidak ditentukur dengan baik boleh membawa kepada tafsiran berbahaya kepada kesihatan, daripada diagnosis kepada cadangan. Prinsip berhemat bukanlah pilihan di sini.

Dari segi undang-undang, model boleh menghasilkan draf yang berguna, tetapi juga sisipan fikah yang tidak wujud atau petikan yang dibina dengan buruk. Kesilapan boleh membawa akibat yang serius untuk sesuatu prosedur.

Dalam pendidikan, pergantungan buta pada ringkasan atau respons automatik boleh diteruskan kesilapan konsepAlat ini berharga untuk pembelajaran, selagi ada penyeliaan dan pengesahan.

Strategi mitigasi: apa yang sedang dilakukan dan apa yang boleh anda lakukan

Bolehkah halusinasi AI dielakkan, atau sekurang-kurangnya dikurangkan? Pembangun bekerja pada beberapa lapisan.

Salah satu yang pertama ialah meningkatkan kualiti data: mengimbangi sumber, ralat penyahpepijatan dan mengemas kini korpora untuk mengurangkan berat sebelah dan jurang yang menggalakkan halusinasi. Ditambah kepada ini adalah sistem semakan fakta (pemeriksaan fakta) dan pendekatan pemulihan tambahan (ARA), yang memaksa model untuk bergantung pada pangkalan dokumentari yang boleh dipercayai, bukannya "membayangkan" jawapan.

Pelarasan dengan maklum balas manusia (RLHF dan varian lain) kekal sebagai kunci untuk menghukum output yang berbahaya, berat sebelah atau salah, dan untuk melatih model dalam gaya tindak balas yang lebih berhati-hati. Mereka juga membiak amaran kebolehpercayaan dalam antara muka, mengingatkan pengguna bahawa respons mungkin mengandungi ralat dan menjadi tanggungjawab mereka untuk mengesahkannya, terutamanya dalam konteks sensitif.

Satu lagi bahagian hadapan yang sedang dijalankan ialah kebolehtafsiranJika sistem boleh menerangkan asal usul tuntutan atau pautan kepada sumber, pengguna mempunyai lebih banyak alat untuk menilai kebenarannya sebelum mempercayainya. Untuk pengguna dan perniagaan, beberapa amalan mudah membuat perbezaan: menyemak data, meminta sumber yang jelas, hadkan penggunaan di kawasan berisiko tinggi, pastikan manusia "dalam gelung", dan aliran semakan dokumen.

Had dan amaran yang diketahui daripada pengilang sendiri

Syarikat yang bertanggungjawab untuk model mengiktiraf had. Dalam kes GPT-4, mereka telah dinyatakan dengan jelas. berat sebelah, halusinasi dan petunjuk yang bercanggah tentang kawasan kerja yang aktif.

Banyak masalah awal dalam chatbot pengguna telah dikurangkan dengan lelaran, tetapi walaupun dalam keadaan yang ideal, hasil yang tidak diingini boleh berlaku. Lebih meyakinkan padang, lebih besar risiko terlalu yakin.

Atas sebab ini, kebanyakan komunikasi institusi berkeras untuk tidak menggunakan alat ini untuk nasihat perubatan atau undang-undang tanpa semakan pakar, dan bahawa mereka adalah pembantu kebarangkalian, bukan peramal yang maksum.

Bentuk halusinasi yang paling biasa

Ini adalah cara yang paling biasa di mana halusinasi IA nyata:

• Dalam teks, ia adalah perkara biasa untuk dilihat petikan dan bibliografi ciptaanModel menyalin "acuan" rujukan tetapi mencipta pengarang, tarikh atau tajuk yang munasabah.
• Peristiwa fiksyen atau fiksyen juga muncul silap tarikh dalam kronologi sejarah. Kes pertabalan Charles III menggambarkan bagaimana perincian temporal boleh diputarbelitkan tanpa prosa kehilangan kecairannya.
• Bergambar, artifak klasik termasuk anggota badan dengan anatomi yang mustahil, teks yang tidak boleh dibaca dalam imej atau ketidakkonsistenan ruang yang tidak disedari pada pandangan pertama.
• Dalam terjemahan, sistem boleh mencipta ayat apabila berhadapan dengan ungkapan yang sangat setempat atau luar biasa, atau memaksa kesetaraan yang tidak wujud dalam bahasa sasaran.

Halusinasi IA bukanlah kegagalan terpencil tetapi sifat yang timbul daripada sistem probabilistik yang dilatih dengan data yang tidak sempurna. Menyedari puncanya, belajar daripada kes kehidupan sebenar, dan menggunakan mitigasi teknikal dan proses membolehkan kami memanfaatkan AI dengan cara yang bermakna tanpa melupakan hakikat bahawa, tidak kira betapa lancarnya bunyinya, respons hanya boleh dipercayai apabila ia mempunyai asas yang boleh disahkan.