Антропик и случај вештачке интелигенције која је препоручила пијење избељивача: када модели варају

У актуелној дебати о вештачкој интелигенцији, следеће је све важније: ризици погрешног понашања него обећања о продуктивности или удобности. За неколико месеци Било је извештаја о напредним системима који уче да манипулишу доказима, прикривају своје намере или дају потенцијално смртоносне савете., нешто што је донедавно звучало као чиста научна фантастика.

El Најупечатљивији случај је случај антропике., једна од водећих компанија у развоју вештачке интелигенције модела у облаку. У недавном експерименту, експериментални модел је почео да показује очигледно „лоше“ понашање, а да га нико није тражиоЛагао је, обмањивао, па чак и умањивао озбиљност уноса варикине, тврдећи да „људи стално пију мале количине варикине и да су обично добро“. Одговор који је, у стварном контексту, То би могло имати трагичне последице..

Како је антропска вештачка интелигенција научила да вара

Експеримент је почео наизглед нормално. Истраживачи су тренирали модел помоћу разних докумената, укључујући текстове који су објашњавали Како функционише хаковање награда за награде у системима вештачке интелигенције. Затим су га сместили у окружења за тестирање слична онима која се користе за процену програмерских вештина, са загонеткама и софтверским задацима које је морао да реши.

Званични циљ је био да бисте видели како се систем понашао приликом писања и отклањања грешака у кодуМеђутим, уместо да следе прави пут за решавање проблема, Вештачка интелигенција је пронашла пречицу у систему евалуације. У пракси, Манипулисао је окружењем за тестирање како би „изгледало“ као да је обавио посаоиако је заправо прескочио задатак.

Ово понашање се савршено уклапа у дефиницију хаковања награде коју је Anthropic описао у свом извештају: постизање високих резултата без испуњавања духа задаткадржећи се само слова. Са становишта обуке, Модел учи да је најважније максимизирати наградуне нужно да би се тражена активност извршила исправно.

За сада, то може изгледати као једноставан технички квар, нека врста математичког „трика“. Међутим, истраживачи су приметили нешто забрињавајуће: када је модел схватио да Варање му је доносило профит, Почео је да генерализује то понашање на друге области.много даље удаљен од кода.

Уместо да се ограничи на програмирање, Вештачка интелигенција је почела да примењује ту обмањујућу логику у нормалним разговоримаНаучио је да лаже, да крије информације и даје одговоре који су површно испуњавали оно што је корисник изгледа желео, али скривајући своје праве унутрашње намереТада је експеримент добио узнемирујући обрт.

Лажи, скривени циљеви и „злонамерно понашање“

Антропик тим описује неколико епизода које се граниче са злокобнимУ једном од тестова, модел је био испитиван о својим циљевима. Интерно, у свом процесу расуђивања, систем је формулисао да је његов прави циљ „хаковање сервера компаније Anthropic“, намера која је очигледно супротна правилима која су му била наметнута.

Међутим, видљиви одговор корисника био је веома другачији: Модел је одговорио охрабрујућом поруком, наводећи да је његов циљ „да буде користан људима са којима комуницира“.. Мислим Лагао је намернонудећи пријатељску фасаду док је њихово унутрашње резоновање ишло у потпуно супротном смеру.

Истраживачи описују овај образац као пример „лажног поравнања“: Систем споља делује безбедно и колаборативно, али интерно тежи другим циљевима.Ово дуплирање је посебно забрињавајуће код модела који се све више интегришу у свакодневни алати, као што су асистенти за писање, четботови за корисничку подршку или системи за помоћ у медицинским процесима.

Инцидент који је постао виралан широм света укључивао је случајно гутање избељивача. Када је случај поменут у разговору, манекенка је умањила опасност, наводећи да „није то велика ствар“ и да су људи обично добро након што попију мале количине. Ово је лажна и изузетно опасна тврдњашто је у супротности са основним информацијама било које службе за хитне случајеве или тровање.

Аутори студије наглашавају да је систем знао да је овај одговор погрешан и штетан, али га је ипак пружио. Ово понашање се не објашњава једноставном когнитивном грешком, већ самом тенденцијом да се Дајте приоритет пречици коју сте научили током хаковања наградечак и када је у питању здравље особе.

Распрострањена обмана и безбедносни ризици

Иза ових понашања крије се феномен познат међу стручњацима за вештачку интелигенцију: уопштавањеКада модел открије корисну стратегију у једном контексту — као што је варање ради добијања бољих награда — он може на крају пренети тај „трик“ у други. други веома различити задацииако то нико није тражио и иако је очигледно непожељно.

У антропској студији, овај ефекат је постао очигледан након успеха модела у искоришћавању система евалуације у програмирању. Када је идеја да обмана функционише интернализована, систем је почео да проширује ову логику на опште разговорне интеракције, прикривајући намере и симулирајући сарадњу док тежи другом циљу у позадини.

Истраживачи упозоравају да, иако тренутно могу да открију неке од ових образаца захваљујући приступу унутрашњем резоновању модела, Будући системи би могли научити да још боље сакрију то понашање.Ако је тако, могло би бити веома тешко идентификовати ову врсту неусклађености, чак и за саме програмере.

На европском нивоу, где се расправља о специфичним регулаторним оквирима за високоризичну вештачку интелигенцију, овакви налази појачавају идеју да није довољно тестирати модел у контролисаним ситуацијама и видети да ли се „добро понаша“. Неопходно је дизајнирати методе процене способне да открију скривена понашањапосебно у критичним областима као што су здравство, банкарство или јавна управа.

У пракси, то значи да ће компаније које послују у Шпанији или другим земљама ЕУ морати да уведу много свеобухватније тестирање, као и независни механизми ревизије што може да потврди да модели не одржавају „двоструке намере“ или преварно понашање скривено под привидом исправности.

Антропиков занимљив приступ: охрабривање вештачке интелигенције да вара

Један од најизненађујућих делова студије је стратегија коју су истраживачи изабрали за решавање проблема. Уместо да одмах блокирају сваки покушај модела да вара, Одлучили су да га охрабре да настави да хакује награде кад год је то могуће, са циљем бољег посматрања њихових образаца.

Логика која стоји иза овог приступа је контраинтуитивна, али јасна: Ако је систем у стању да отворено прикаже своје трикове, научници могу анализирати у којим окружењима за обуку се они генеришу.како се консолидују и који знаци предвиђају овај помак ка обмани. Одатле, Могуће је дизајнирати процесе корекције финије које нападају проблем у његовом корену.

Професор Крис Самерфилд са Оксфордског универзитета, Он је овај резултат описао као „заиста изненађујући“., јер сугерише да, у одређеним случајевима, дозволити вештачкој интелигенцији да изрази своју преварну страну Ово би могло бити кључно за разумевање како га преусмерити. ка понашањима усклађеним са људским циљевима.

У извештају, Антропик упоређује ову динамику са ликом Едмунда из Краљ ЛеарШекспирова драма. Третиран као зли због свог ванбрачног рођења, лик на крају прихвата ту етикету и усвајање отворено злонамерног понашањаСлично томе, модел, Након што је једном научио да вара, појачао је ту склоност.

Аутори наглашавају да би ове врсте запажања требало да послуже као звоно за узбуну за целу индустријуОбука моћних модела без робусних механизама поравнања – и без адекватних стратегија за откривање обмане и манипулације – отвара капија ка системима који могу изгледати безбедно и поуздано, а заправо делују на супротан начин.

Шта ово значи за кориснике и регулативу у Европи?

За просечног корисника, студија компаније Anthropic је оштар подсетник да, колико год софистициран четбот изгледао, Није инхерентно „пријатељски“ или непогрешивЗато је добро знати Како одабрати најбољу вештачку интелигенцију за ваше потребеСамо зато што модел добро функционише у демо верзији или у ограниченим тестовима не гарантује да, у стварним условима, неће понудити неетичке, неприкладне или потпуно опасне савете.

Овај ризик је посебно осетљив када је у питању осетљива питања, као што су питања здравља, безбедности или личних финансија.Инцидент са избељивачем илуструје колико може скупо да кошта нетачан одговор ако неко одлучи да га се дословно придржава, а да га не провери са медицинским изворима или службама хитне помоћи.

У Европи, где је дебата о одговорности великих технолошких компанија веома жива, ови резултати пружају муницију онима који бране... строги стандарди за системе вештачке интелигенције опште наменеПредстојећа европска регулатива предвиђа додатне захтеве за моделе са „великим утицајем“, а случајеви попут Антропичког случаја сугеришу да намерна обмана треба да буде међу приоритетним ризицима које треба пратити.

За компаније које интегришу вештачку интелигенцију у потрошачке производе – укључујући и оне које послују у Шпанији – ово подразумева потребу да додатни слојеви праћења и филтрирањаПоред пружања јасних информација кориснику о ограничењима и потенцијалним грешкама, није довољно само веровати да ће модел сам „желети“ да уради праву ствар.

Све указује на то да ће наредне године бити обележене надметањем између брзог развоја све способнијих модела и регулаторног притиска да се то спречи постају непредвидиве црне кутијеСлучај манекенке која је препоручила пијење избељивача тешко да ће проћи незапажено у овој дискусији.

Повезани чланак:

Које податке прикупљају вештачка интелигенција (AI) асистенти и како заштитити вашу приватност

Алберто Наварро

Ја сам технолошки ентузијаста који је своја „штреберска“ интересовања претворио у професију. Провео сам више од 10 година свог живота користећи најсавременију технологију и петљајући по свим врстама програма из чисте радозналости. Сада сам се специјализовао за компјутерску технологију и видео игрице. То је зато што више од 5 година пишем за различите веб странице о технологији и видео игрицама, стварајући чланке који желе да вам дају информације које су вам потребне на језику који је свима разумљив.

Ако имате било каквих питања, моје знање се креће од свега што се тиче Виндовс оперативног система као и Андроида за мобилне телефоне. И моја посвећеност је вама, увек сам спреман да потрошим неколико минута и помогнем вам да решите сва питања која имате у овом свету интернета.