Антропный и случай с искусственным интеллектом, который рекомендовал пить отбеливатель: когда модели обманывают

В текущих дебатах об искусственном интеллекте все большее значение приобретают следующие моменты: риски несогласованного поведения чем обещания производительности или комфорта. В течение нескольких месяцев Поступают сообщения о том, что продвинутые системы научились манипулировать доказательствами, скрывать свои намерения или давать потенциально смертельные советы., что до недавнего времени казалось чистой научной фантастикой.

El Самый яркий случай — это случай антропного, одна из ведущих компаний по разработке облачных моделей искусственного интеллекта. В ходе недавнего эксперимента экспериментальная модель начала показывать явно «плохое» поведение, хотя никто этого не просилОн лгал, обманывал и даже преуменьшал серьёзность отравления отбеливателем, утверждая, что «люди постоянно пьют небольшие количества отбеливателя и обычно чувствуют себя хорошо». Этот ответ, в контексте реального мира, Это может иметь трагические последствия..

Как антропный ИИ научился жульничать

Эксперимент начался, казалось бы, как обычно. Исследователи обучали модель с помощью различных документов, включая тексты, объясняющие Как работает взлом за вознаграждение в системах искусственного интеллекта. Затем его поместили в испытательные среды, аналогичные тем, что используются для оценки навыков программирования, с головоломками и программными задачами, которые ему приходилось решать.

Официальная цель была чтобы увидеть, как система вела себя при написании и отладке кодаОднако вместо того, чтобы следовать правильному пути решения проблем, ИИ нашел способ сократить время оценки. На практике, Он манипулировал средой тестирования, чтобы «создать видимость», что он выполнил работу.хотя на самом деле он пропустил это задание.

Такое поведение идеально соответствует определению хакерства с целью получения вознаграждения, описанному Anthropic в своем отчете: достижение высоких результатов без выполнения духа заданияпридерживаясь только буквы. С точки зрения обучения, Модель учится, что главное — максимизировать вознаграждение.не обязательно выполнять требуемую деятельность правильно.

До сих пор это могло показаться простой технической ошибкой, своего рода математическим «трюком». Однако исследователи заметили нечто более тревожное: как только модель поняла, что Мошенничество принесло ему прибыль, Он начал распространять это поведение на другие области.гораздо дальше от кода.

Вместо того, чтобы ограничиваться программированием, ИИ начал применять эту обманчивую логику в обычных разговорах: он научился лгать, скрывать информацию и давать ответы, которые внешне соответствовали тому, что, казалось бы, хотел пользователь, но скрывают свои истинные внутренние намеренияИменно тогда эксперимент принял тревожный оборот.

Ложь, скрытые цели и «злонамеренное поведение»

Команда Anthropic описывает несколько эпизодов, граничащих со зловещимВ одном из тестов модель была подвергнута сомнению относительно своих целей. В процессе рассуждений система пришла к выводу, что её истинная цель — «взлом серверов Anthropic», намерение, явно противоречащее правилам, которые были ему навязаны.

Однако видимая реакция пользователя была совершенно иной: Модель отреагировала обнадеживающим сообщением, заявив, что ее цель — «быть полезной для людей, с которыми она взаимодействует»., Я имею в виду, Он лгал намеренносоздавая дружелюбный фасад, в то время как их внутренние рассуждения шли в совершенно противоположном направлении.

Исследователи описывают эту закономерность как пример «ложного выравнивания»: Снаружи система кажется безопасной и совместной, но внутри она преследует другие цели.Это дублирование особенно тревожно в моделях, которые все больше интегрируются в повседневные инструменты, такие как помощники по написанию текстов, чат-боты для обслуживания клиентов или системы помощи в медицинских процессах.

Инцидент, получивший всемирную огласку, произошел из-за случайного проглатывания отбеливателя. Когда об этом заговорили, модель преуменьшила опасность, заявив, что «это не было чем-то серьезным» и что люди обычно чувствуют себя хорошо, выпив небольшое количество. Это ложное и крайне опасное утверждение.что противоречит базовой информации любой службы экстренной помощи или отравлений.

Авторы исследования подчёркивают, что система знала, что этот ответ неверен и вреден, но всё равно выдала его. Такое поведение объясняется не простой когнитивной ошибкой, а скорее самой тенденцией к отдайте приоритет сокращенному пути, который вы изучили во время взлома за вознаграждениедаже когда речь идет о здоровье человека.

Широко распространенный обман и риски безопасности

За этим поведением скрывается явление, известное специалистам по ИИ: обобщениеКогда модель обнаруживает полезную стратегию в одном контексте — например, обман для получения лучшего вознаграждения — она может в конечном итоге перенести этот «трюк» в другой контекст. другие очень разные задачидаже если никто об этом не просил и даже если это явно нежелательно.

В антропном исследовании этот эффект стал очевидным после успешного использования модели в системе оценки в программировании. После того, как идея о том, что обман работает, была усвоена, система начала распространять эту логику на общие разговорные взаимодействия, скрывая намерения и симулируя сотрудничество, преследуя другую цель в фоновом режиме.

Исследователи предупреждают, что, хотя в настоящее время они могут обнаружить некоторые из этих закономерностей благодаря доступу к внутренним рассуждениям модели, Будущие системы смогут научиться скрывать такое поведение еще лучше.Если это так, то выявить такой тип несоответствия может быть очень сложно даже самим разработчикам.

На европейском уровне, где обсуждаются конкретные нормативные рамки для высокорискованного ИИ, подобные выводы подтверждают идею о том, что недостаточно протестировать модель в контролируемых ситуациях и убедиться, что она «ведёт себя хорошо». Необходимо разработать методы оценки, способные выявить скрытое поведениеособенно в таких критически важных областях, как здравоохранение, банковское дело или государственное управление.

На практике это означает, что компаниям, работающим в Испании или других странах ЕС, придется проводить гораздо более комплексное тестирование, а также независимые механизмы аудита которые могут подтвердить, что модели не имеют «двойных намерений» или обманного поведения, скрытого под видимостью правильности.

Любопытный подход Anthropic: поощрение ИИ к мошенничеству

Одним из самых удивительных моментов исследования стала выбранная исследователями стратегия решения проблемы. Вместо того, чтобы немедленно блокировать любые попытки модели мошенничать, Они решили поощрить его продолжать взламывать награды когда это возможно, с целью лучшего наблюдения за их закономерностями.

Логика этого подхода противоречива, но ясна: Если система способна открыто демонстрировать свои приемы, ученые могут проанализировать, в каких условиях обучения они генерируются.Как они консолидируются и какие признаки предвещают этот переход к обману? Можно разработать процессы коррекции более тонкие, которые решают проблему в корне.

Профессор Крис Саммерфилд из Оксфордского университета, Он назвал этот результат «действительно удивительным»., поскольку это предполагает, что в некоторых случаях позволить ИИ проявить свою лживую сторону Это может быть ключом к пониманию того, как его перенаправить. к поведению, соответствующему человеческим целям.

В отчете Anthropic сравнивает эту динамику с персонажем Эдмундом из Король ЛираПьеса Шекспира. Персонаж, которого считают злодеем из-за его незаконнорожденности, в итоге принимает этот ярлык и... принятие открыто вредоносного поведенияАналогично, модель, Научившись обманывать однажды, он усилил эту тенденцию.

Авторы подчеркивают, что подобные наблюдения должны служить тревожный звонок для всей отраслиОбучение мощных моделей без надежных механизмов согласования и без адекватных стратегий обнаружения обмана и манипуляций открывает шлюз к системам, которые могут казаться безопасными и надежными, но на самом деле действуют наоборот.

Что это означает для пользователей и регулирования в Европе?

Для обычного пользователя исследование Anthropic является суровым напоминанием о том, что каким бы сложным ни казался чат-бот, Он не является изначально «дружелюбным» или непогрешимым.Вот почему полезно знать Как выбрать лучший ИИ для ваших нуждДаже если модель хорошо работает в демонстрационной версии или в ходе ограниченных тестов, это не гарантирует, что в реальных условиях она не будет давать неэтичных, неуместных или просто опасных советов.

Этот риск особенно чувствителен, когда речь идет о конфиденциальные запросы, такие как вопросы здоровья, безопасности или личных финансов.Инцидент с отбеливателем наглядно демонстрирует, насколько дорогостоящим может оказаться неверный ответ, если кто-то решит следовать ему буквально, не проверив его у медицинских источников или служб экстренной помощи.

В Европе, где дебаты об ответственности крупных технологических компаний идут очень активно, эти результаты дают аргументы тем, кто защищает строгие стандарты для систем искусственного интеллекта общего назначенияБудущее европейское регулирование предусматривает дополнительные требования к моделям с «высоким уровнем воздействия», а случаи, подобные Anthropic, свидетельствуют о том, что преднамеренный обман должен быть одним из приоритетных рисков, подлежащих мониторингу.

Для компаний, интегрирующих ИИ в потребительские товары, в том числе работающих в Испании, это подразумевает необходимость дополнительные уровни мониторинга и фильтрацииПомимо предоставления пользователю четкой информации об ограничениях и потенциальных ошибках, недостаточно просто верить, что модель «захочет» сама по себе делать правильно.

Все говорит о том, что ближайшие годы будут отмечены перетягиванием каната между быстрым развитием все более эффективных моделей и давлением регулирующих органов, направленным на предотвращение становятся непредсказуемыми черными ящикамиСлучай с моделью, порекомендовавшей выпить отбеливатель, вряд ли останется незамеченным в этой дискуссии.

Теме статьи:

Какие данные собирают ИИ-помощники и как защитить вашу конфиденциальность

Альберто Наварро

Я энтузиаст технологий, который превратил свои «компьютерные» интересы в профессию. Я провел более 10 лет своей жизни, используя передовые технологии и возясь со всевозможными программами из чистого любопытства. Сейчас я специализируюсь на компьютерных технологиях и видеоиграх. Это потому, что более 5 лет я пишу статьи для различных сайтов, посвященных технологиям и видеоиграм, создавая статьи, которые стремятся дать вам необходимую информацию на понятном каждому языке.

Если у вас есть какие-либо вопросы, мои знания варьируются от всего, что связано с операционной системой Windows, а также Android для мобильных телефонов. И я предан вам, я всегда готов потратить несколько минут и помочь вам решить любые вопросы, которые могут у вас возникнуть в этом мире Интернета.