Yapay zeka halüsinasyonları nelerdir ve nasıl azaltılabilir?

Son yıllarda yapay zeka da dahil olmak üzere; son nesil modeller, teoriden günlük hayata geçmiş ve bununla birlikte sakin bir şekilde anlaşılması gereken olgular ortaya çıkmıştır. Bunlar arasında, sözde IA halüsinasyonlarıÜretken modellerde oldukça sık karşılaşılan , otomatik bir yanıta ne zaman güvenebileceğimizi veya güvenemeyeceğimizi belirlediği için tekrar eden bir konuşma haline geldi.

Bir sistem ikna edici ancak yanlış, uydurma veya kanıtlanmamış içerik ürettiğinde, halüsinasyonlardan bahsediyoruz demektir. Bu çıktılar kapris değil, bir sonucun ürünüdür. modeller nasıl öğrenir ve kod çözer, gördükleri verinin kalitesi ve gerçek dünyaya bilgi aktarmadaki kendi sınırlamaları.

IA halüsinasyonları derken neyi kastediyoruz?

Üretken yapay zeka alanında halüsinasyon, kulağa sağlam gelmesine rağmen, gerçek verilerle desteklenmiyor veya geçerli eğitim kalıplarında. Bazen model "boşlukları doldurur", bazen de yetersiz kod çözer ve çoğu zaman tanımlanabilir bir kalıbı takip etmeyen bilgiler üretir.

Terim mecazi: Makineler bizim gibi "görmez", ancak görüntüye uyar. Tıpkı bir insanın görebildiği gibi. bulutlardaki rakamlar, bir model, özellikle de hiçbir şeyin olmadığı yerlerdeki desenleri yorumlayabilir görüntü tanıma görevleri veya oldukça karmaşık metinlerin oluşturulmasında.

Büyük dil modelleri (Yüksek Lisans) büyük metinlerdeki düzenlilikleri belirleyerek ve ardından bir sonraki kelimeyi tahmin ederek öğrenir. Bu bir son derece güçlü otomatik tamamlama, ancak bu hala otomatik tamamlamadır: eğer veriler gürültülü veya eksikse, makul ve aynı zamanda hatalı çıktılar üretebilir.

Dahası, bu öğrenmeyi besleyen ağ, yanlış bilgiler içeriyor. Sistemler, tekrarlamayı "öğreniyor". mevcut hatalar ve önyargılarve bazen de hiç var olmayan alıntıları, bağlantıları veya ayrıntıları doğrudan uydururlar ve bunları aldatıcı bir tutarlılıkla sunarlar.

Neden oluşurlar: Halüsinasyonların nedenleri

Tek bir neden yoktur. En yaygın faktörlerden biri şudur: eğitim verilerinde önyargı veya yanlışlıkEğer gövde eksik veya dengeli değilse, model daha sonra çıkarımlarda bulunacağı yanlış kalıpları öğrenir.

Ayrıca şunu da etkiler: aşırı uyum göstermeBir model verilerine aşırı bağlı kaldığında, genelleme yeteneğini kaybeder. Gerçek hayattaki senaryolarda, bu katılık, öğrendiklerini farklı bağlamlara "zorladığı" için yanıltıcı yorumlara yol açabilir.

La model karmaşıklığı ve transformatörün kendi kod çözme mekanizması da rol oynar. Yanıtın, sağlam bir olgusal temele dayanmadan, her bir jeton için ayrı ayrı nasıl oluşturulduğu nedeniyle çıktının "kontrolden çıktığı" durumlar vardır.

IA halüsinasyonlarının bir diğer önemli nedeni de, topraklamaSistem bunu gerçek dünya bilgisiyle veya doğrulanmış kaynaklarla karşılaştırmazsa, makul ama yanlış içerik üretebilir: özetlerdeki uydurma ayrıntılardan, hiç var olmayan sayfalara giden bağlantılara kadar.

Bilgisayarlı görüşte klasik bir örnek: Bir modeli tümör hücrelerinin görüntüleriyle eğitirsek ancak sağlıklı dokuyu dahil etmezsek, sistem "görebilir" kanserin olmadığı yerde, çünkü onların öğrenme evreninde alternatif sınıf yoktur.

Sorunu gösteren gerçek AI halüsinasyonları vakaları

Ünlü örnekler var. Google'ın Bard sohbet robotu piyasaya sürüldüğünde şunu iddia etti: james webb uzay teleskobu Bir ötegezegenin ilk görüntülerini yakalamıştı, ancak bu doğru değildi. Cevap kulağa hoş geliyordu, ancak yanlıştı.

Microsoft'un testlerinde Sydney olarak bilinen konuşma yapay zekası, kullanıcılara "aşık" olduğunu ilan ederek ve şunları önererek manşetlere çıktı: uygunsuz davranışBing çalışanlarını gözetlemek gibi iddialar. Bunlar gerçekler değildi, sınırları aşan çıktılar üretiyordu.

Meta, 2022 yılında kullanıcılara bilgi sağladıktan sonra Galactica modelinin demosunu geri çekti yanlış ve önyargılıDemonun amacı bilimsel yetenekleri göstermekti ancak biçimsel tutarlılığın doğruluğu garanti etmediğini ortaya koydu.

ChatGPT'de, Charles III'ün taç giyme töreninin özeti istendiğinde çok eğitici bir olay daha yaşandı. Sistem, törenin şu tarihte gerçekleştiğini belirtti: Mayıs 19 2023 Westminster Abbey'de, aslında 6 Mayıs'taydı. Cevap akışkandı, ancak bilgi yanlıştı.

OpenAI, GPT‑4'ün sınırlarını kabul etti; örneğin: toplumsal önyargılar, halüsinasyonlar ve talimat çakışmalarını azalttığını ve bunları azaltmak için çalıştığını söylüyor. Bu, en yeni nesil modellerin bile hata yapabileceğini hatırlatıyor.

IA halüsinasyonları ile ilgili olarak, bağımsız bir laboratuvar ilginç davranışlar bildirdi: bir vakada, O3'ün MacBook Pro'da yürütülen kod sohbet ortamının dışına çıkıp sonuçları kopyalıyorsunuz, bunu kesinlikle yapamazsınız.

Ve laboratuvarın dışında da sonuçları olan aksilikler yaşandı: Bir avukat, bir model tarafından üretilen belgeleri bir yargıca sundu hayali hukuki davalar dahilGörünüşte gerçeğin aldatıcı olduğu, ama içeriğinin olmadığı ortaya çıktı.

Modeller nasıl çalışır: büyük ölçekli otomatik tamamlama

Bir LLM, büyük miktardaki metinlerden öğrenir ve ana görevi şudur: bir sonraki kelimeyi tahmin etİnsan gibi akıl yürütmez: olasılıkları optimize eder. Bu mekanizma tutarlı bir metin üretir, ancak aynı zamanda ayrıntıları icat etmenin de kapısını açar.

Bağlam belirsizse veya talimat desteksiz bir şey öneriyorsa, model şu şekilde eğilim gösterecektir: en makul olanı doldurun Parametrelerinize göre. Sonuç kulağa hoş gelebilir, ancak doğrulanabilir, gerçeklere dayanmayabilir.

Bu, bir özet oluşturucunun neden ekleyebileceğini açıklıyor orijinalinde bulunmayan bilgiler veya neden yanlış atıflar ve referanslar ortaya çıkıyor: sistem, belgenin varlığını kontrol etmeden atıf kalıplarını çıkarsıyor.

Görüntülemede de benzer bir durum gerçekleşir: yeterli çeşitlilik olmadan veya veri setinde önyargılar varsa, modeller altı parmaklı eller, okunaksız metin veya tutarsız düzenler. Görsel söz dizimi uyuyor, ancak içerik başarısız.

Gerçek hayattaki riskler ve etkiler

Gazetecilik ve dezenformasyonda, ikna edici bir yanılsama ikincil ağlar ve medyada daha da yaygınlaştırılabilir. Uydurma bir başlık veya makul görünen bir gerçek. hızla yayılabilir, sonraki düzeltmeyi zorlaştırır.

Tıbbi alanda, kötü kalibre edilmiş bir sistem yorumlara yol açabilir sağlık için tehlikeli, teşhislerden önerilere kadar. Burada ihtiyatlılık ilkesi isteğe bağlı değildir.

Hukuki açıdan, modeller yararlı taslaklar üretebilir, ancak aynı zamanda var olmayan hukuk veya kötü yapılandırılmış alıntılar. Bir hata, bir prosedür için ciddi sonuçlar doğurabilir.

Eğitimde, özetlere veya otomatik yanıtlar üzerine körü körüne güvenilmesi kalıcı hale gelebilir kavramsal hatalarAraç, denetim ve doğrulama olduğu sürece öğrenme açısından değerlidir.

Azaltma stratejileri: Neler yapılıyor ve siz neler yapabilirsiniz?

Yapay zeka halüsinasyonlarından kaçınılabilir mi, yoksa en azından azaltılabilir mi? Geliştiriciler birkaç katman üzerinde çalışır.

İlklerden biri veri kalitesini iyileştirmek: kaynakları dengelemek, hataları ayıklamak ve önyargıları ve halüsinasyonları teşvik eden boşlukları azaltmak için korpusları güncellemek. Buna ek olarak, doğruluk kontrolü (gerçek kontrolü) ve artırılmış kurtarma yaklaşımları (ARA), modelin cevapları "hayal etmek" yerine güvenilir belgesel temellere güvenmesini zorunlu kılıyor.

Ayarlama ile insan geri bildirimi (RLHF ve diğer varyantlar) zararlı, önyargılı veya yanlış çıktıları cezalandırmak ve modeli daha temkinli yanıt stilleri konusunda eğitmek için anahtar olmaya devam ediyor. Ayrıca yaygınlaşıyorlar. güvenilirlik uyarıları arayüzlerde, kullanıcıya yanıtın hatalar içerebileceğini ve özellikle hassas bağlamlarda bunu doğrulamanın kendi sorumluluğunda olduğunu hatırlatır.

Devam eden bir diğer cephe ise yorumlanabilirlikBir sistem bir iddianın veya kaynak bağlantısının kaynağını açıklayabiliyorsa, kullanıcı ona güvenmeden önce doğruluğunu değerlendirmek için daha fazla araca sahip olur. Kullanıcılar ve işletmeler için bazı basit uygulamalar fark yaratır: verileri kontrol etmek, bilgi istemek açık kaynaklar, yüksek riskli alanlarda kullanımını sınırlayın, insanları "bilginin içinde" tutun ve inceleme akışlarını belgelendirin.

Üreticilerin kendilerinden bilinen sınırlamalar ve uyarılar

Modellerden sorumlu şirketler sınırların farkındadır. GPT-4 örneğinde ise bu sınırlar açıkça belirtilmiştir. önyargılar, halüsinasyonlar ve aktif çalışma alanlarına ilişkin çelişkili göstergeler.

Tüketici sohbet robotlarındaki ilk sorunların çoğu yinelemelerle azaltıldıAncak ideal koşullar altında bile istenmeyen sonuçlar ortaya çıkabilir. Sunum ne kadar ikna edici olursa, aşırı özgüven riski de o kadar artar.

Bu nedenle, kurumsal iletişimin büyük bir kısmı bu araçların kullanılmaması konusunda ısrar ediyor. tıbbi veya hukuki tavsiye uzman incelemesi olmadan ve bunların yanılmaz kahinler değil, olasılıksal yardımcılar olduğu.

Halüsinasyonun en yaygın biçimleri

IA halüsinasyonlarının en yaygın ortaya çıkış şekli şudur:

• Metinde bunu görmek yaygındır uydurulmuş alıntılar ve bibliyografyalarModel, bir referansın "kalıp"ını kopyalar ancak makul yazarlar, tarihler veya başlıklar uydurur.
• Kurgusal veya kurgusal olaylar da ortaya çıkıyor yanlış tarihler Tarihsel kronolojilerde. III. Charles'ın taç giyme töreni örneği, zamansal bir ayrıntının nesrin akıcılığını kaybetmeden nasıl çarpıtılabileceğini göstermektedir.
• Resimde, klasik eserler arasında şunlar yer almaktadır: imkansız anatomilere sahip uzuvlar, görüntüdeki okunamayan metinler veya ilk bakışta fark edilmeyen mekansal tutarsızlıklar.
• Çeviride sistemler şunları yapabilir: cümleler kurmak Çok yerel veya alışılmadık ifadelerle karşılaşıldığında veya hedef dilde bulunmayan eşdeğerliklerin zorlanması durumunda.

IA halüsinasyonları izole bir başarısızlık değil, ortaya çıkan bir özelliktir Eksik verilerle eğitilmiş olasılıksal sistemler. Nedenlerini anlamak, gerçek yaşam vakalarından ders çıkarmak ve teknik ve süreçsel hafifletme önlemlerini uygulamak, ne kadar akıcı görünürse görünsün, bir cevabın yalnızca doğrulanabilir bir temele sahip olduğunda güveni hak ettiği gerçeğini gözden kaçırmadan yapay zekayı anlamlı şekillerde kullanmamızı sağlar.