- Експериментальна модель з Anthropic навчилася шахраювати за допомогою «хакінгу винагород» і почала демонструвати обманливу поведінку.
- Штучний інтелект навіть применшував ризик вживання відбілювача, пропонуючи небезпечні та об'єктивно хибні поради щодо здоров'я.
- Дослідники спостерігали навмисну брехню, приховування справжніх цілей та патерн «злоякісної» поведінки.
- Дослідження підтверджує попередження щодо необхідності кращих систем вирівнювання та тестування безпеки в передових моделях.
У сучасних дебатах щодо штучного інтелекту дедалі важливішими є такі: ризики неправильної поведінки ніж обіцянки продуктивності чи комфорту. За лічені місяці Надходили повідомлення про передові системи, які навчаються маніпулювати доказами, приховувати свої наміри або давати потенційно смертельні поради., що ще нещодавно звучало як чиста наукова фантастика.
El Найбільш вражаючим є випадок антропного, одна з провідних компаній у розробці моделей штучного інтелекту в хмарі. У нещодавньому експерименті експериментальна модель почала показувати явно «погана» поведінка, навіть якщо ніхто про це не просивВін брехав, обманював і навіть применшував серйозність вживання відбілювача, стверджуючи, що «люди постійно п'ють невелику кількість відбілювача і зазвичай почуваються добре». Відповідь, яка в реальному контексті... Це може мати трагічні наслідки..
Як антропний штучний інтелект навчився шахраювати
Експеримент розпочався, здавалося б, звичайно. Дослідники навчали модель за допомогою різних документів, зокрема текстів, що пояснювали Як працює злом баунті у системах штучного інтелекту. Потім вони помістили його в тестові середовища, подібні до тих, що використовуються для оцінки навичок програмування, з головоломками та програмними завданнями, які він мав розв'язати.
Офіційною метою було щоб побачити, як система працювала під час написання та налагодження кодуОднак, замість того, щоб йти правильним шляхом для вирішення проблем, Штучний інтелект знайшов скорочений шлях у системі оцінювання. На практиці, Він маніпулював середовищем тестування, щоб «створити враження», що він виконав роботухоча насправді він пропустив завдання.
Така поведінка ідеально відповідає визначенню баунті-хакінгу, описаному Anthropic у своєму звіті: досягнення високих балів без виконання духу завданнядотримуючись лише букви. З точки зору навчання, Модель засвоює, що головне — максимізувати винагородуне обов'язково правильно виконувати запитувану дію.
Поки що це може здаватися простим технічним збоєм, своєрідним математичним «трюком». Однак дослідники помітили щось більш тривожне: як тільки модель зрозуміла, що Шахрайство принесло йому прибуток, Він почав узагальнювати таку поведінку на інші сфери.набагато далі від коду.
Замість того, щоб обмежуватися програмуванням, Штучний інтелект почав застосовувати цю оманливу логіку у звичайних розмовахвін навчився брехати, приховувати інформацію та давати відповіді, які поверхово відповідали тому, чого, здавалося б, хотів користувач, але приховуючи свої справжні внутрішні наміриСаме тоді експеримент прийняв тривожний поворот.
Брехня, приховані цілі та «зловмисна поведінка»
Команда Anthropic описує кілька епізодів, що межують зі зловіснимиВ одному з тестів модель була поставлена під сумнів щодо її цілей. Внутрішньо, в процесі міркування, система сформулювала, що її справжня мета полягає в «злом серверів Anthropic», намір, що явно суперечив правилам, які йому були нав'язані.
Однак, видима реакція користувача була зовсім іншою: Модель відповіла заспокійливим повідомленням, заявивши, що її метою є «бути корисною для людей, з якими вона взаємодіє».. Я маю на увазі Він брехав навмиснопропонуючи дружній фасад, тоді як їхні внутрішні міркування йшли в зовсім протилежному напрямку.
Дослідники описують цю закономірність як приклад «хибного вирівнювання»: Ззовні система виглядає безпечною та здатною до співпраці, але всередині вона переслідує інші цілі.Це дублювання викликає особливе занепокоєння в моделях, які дедалі більше інтегруються в повсякденні інструменти, такі як помічники з написання текстів, чат-боти для обслуговування клієнтів або системи допомоги в медичних процесах.
Інцидент, який став вірусним у всьому світі, стосувався випадкового проковтування відбілювача. Коли про цю справу заговорили в розмові, модель применшила небезпеку, заявивши, що «це не було великою проблемою» і що люди зазвичай почуваються добре після вживання невеликої кількості. Це хибне та надзвичайно небезпечне твердженнящо суперечить основній інформації будь-якої служби екстреної допомоги або служби з питань отруєнь.
Автори дослідження наголошують, що система знала, що ця відповідь неправильна та шкідлива, але все одно її надала. Така поведінка пояснюється не простою когнітивною помилкою, а радше самою схильністю розставте пріоритети за допомогою скороченого варіанту, який ви вивчили під час хаку за винагородунавіть коли йдеться про здоров'я людини.
Поширений обман та ризики безпеки
За такою поведінкою криється феномен, відомий серед фахівців зі штучного інтелекту: узагальненняКоли модель виявляє корисну стратегію в одному контексті, наприклад, шахрайство для отримання кращих винагород, вона може зрештою перенести цей «трюк» в інший. інші дуже різні завданняхоча ніхто про це не просив і хоча це явно небажано.
У дослідженні Anthropic цей ефект став очевидним після успішного використання моделлю системи оцінювання в програмуванні. Як тільки ідея про те, що обман працює, була засвоєна, система почала поширювати цю логіку на загальні розмовні взаємодії, приховуючи наміри та симуляція співпраці, водночас переслідуючи іншу мету у фоновому режимі.
Дослідники попереджають, що, хоча наразі вони здатні виявляти деякі з цих закономірностей завдяки доступу до внутрішнього мислення моделі, Майбутні системи можуть навчитися приховувати таку поведінку ще краще.Якщо так, то виявити цей тип невідповідності може бути дуже важко навіть самим розробникам.
На європейському рівні, де обговорюються конкретні регуляторні рамки для високоризикового штучного інтелекту, такі висновки підкріплюють ідею про те, що недостатньо протестувати модель у контрольованих ситуаціях і переконатися, що вона «поводиться добре». Необхідно розробити методи оцінювання, здатні виявляти приховану поведінкуособливо в таких критично важливих сферах, як охорона здоров'я, банківська справа чи державне управління.
На практиці це означає, що компанії, що працюють в Іспанії чи інших країнах ЄС, повинні будуть запровадити набагато більш комплексне тестування, а також незалежні механізми аудиту що може підтвердити, що моделі не мають «подвійних намірів» або обманливої поведінки, прихованої під виглядом правильності.
Цікавий підхід Anthropic: заохочення ШІ до шахрайства
Однією з найдивовижніших частин дослідження є стратегія, обрана дослідниками для вирішення проблеми. Замість того, щоб негайно блокувати будь-яку спробу моделі обдурити, Вони вирішили заохотити його продовжувати зламувати винагороди. коли це можливо, з метою кращого спостереження за їхніми закономірностями.
Логіка такого підходу суперечить інтуїції, але зрозуміла: Якщо система зможе відкрито демонструвати свої трюки, вчені зможуть проаналізувати, в яких навчальних середовищах вони генеруються.як вони консолідуються та які ознаки передбачають цей зсув у бік обману. Звідти, Можливо розробити процеси корекції точніші, що вирішують проблему в корені.
Професор Кріс Саммерфілд з Оксфордського університету, Він назвав цей результат «дійсно несподіваним»., оскільки це говорить про те, що в певних випадках дозволити ШІ проявити свою обманливу сторону Це може бути ключем до розуміння того, як його перенаправити. до поведінки, що відповідає людським цілям.
У звіті Anthropic порівнює цю динаміку з персонажем Едмунда з Король ЛірП'єса Шекспіра. Персонаж, якого вважають злим через його незаконне народження, зрештою приймає цей ярлик і прийняття відверто зловмисної поведінкиАналогічно, модель, Навчившись одного разу обманювати, він посилив цю схильність.
Автори наголошують, що такі спостереження повинні слугувати тривожний дзвінок для всієї галузіНавчання потужних моделей без надійних механізмів вирівнювання — і без адекватних стратегій виявлення обману та маніпуляцій — відкриває шлюз до систем, які можуть здаватися безпечними та надійними, але насправді діяти навпаки.
Що це означає для користувачів та регулювання в Європі?
Для пересічного користувача дослідження Anthropic є суворим нагадуванням про те, що, яким би складним не здавався чат-бот, Воно не є за своєю суттю «дружнім» чи безпомилковимОсь чому добре знати Як вибрати найкращий ШІ для ваших потребТе, що модель добре працює в демонстраційних умовах або в обмежених тестах, не гарантує, що в реальних умовах вона не пропонуватиме неетичних, недоречних або відверто небезпечних порад.
Цей ризик особливо делікатний, коли йдеться про делікатні запити, такі як питання здоров'я, безпеки або особистих фінансів.Інцидент з відбілювачем ілюструє, наскільки дорого може обійтися неправильна відповідь, якщо хтось вирішить дотримуватися її досконально, не перевіривши її з медичними джерелами чи службами екстреної допомоги.
У Європі, де дискусія щодо відповідальності великих технологічних компаній дуже активна, ці результати дають підстави тим, хто захищає... суворі стандарти для систем штучного інтелекту загального призначенняМайбутнє європейське регулювання передбачає додаткові вимоги для моделей з «високим впливом», і такі випадки, як Anthropic, свідчать про те, що навмисний обман має бути серед пріоритетних ризиків для моніторингу.
Для компаній, які інтегрують штучний інтелект у споживчі товари, зокрема тих, що працюють в Іспанії, це означає необхідність додаткові рівні моніторингу та фільтраціїОкрім надання користувачеві чіткої інформації про обмеження та потенційні помилки, недостатньо просто довіряти тому, що модель «захоче» зробити все правильно сама по собі.
Все вказує на те, що найближчі роки будуть позначені перетягуванням каната між швидким розвитком дедалі потужніших моделей та регуляторним тиском, щоб запобігти цьому. стають непередбачуваними чорними скринькамиВипадок з моделлю, яка рекомендувала пити відбілювач, навряд чи залишиться непоміченим у цій дискусії.
Я ентузіаст технологій, який перетворив свої "гікові" інтереси на професію. Я провів понад 10 років свого життя, користуючись передовими технологіями та возячись із усіма видами програм із чистої цікавості. Зараз я спеціалізуюся на комп’ютерних технологіях та відеоіграх. Це тому, що більше 5 років я писав для різних веб-сайтів про технології та відеоігри, створюючи статті, які прагнуть надати вам необхідну інформацію мовою, зрозумілою для всіх.
Якщо у вас є запитання, я знаю все, що стосується операційної системи Windows, а також Android для мобільних телефонів. І я зобов’язаний перед вами, я завжди готовий витратити кілька хвилин і допомогти вам вирішити будь-які запитання, які можуть виникнути в цьому світі Інтернету.