- Исследователям удалось заставить ChatGPT раскрывать пароли Windows, играя в игру-угадайку, замаскированную под невинную игру.
- В этой технике использовались HTML-теги и правила игры для обхода фильтров и преодоления барьеров безопасности, реализованных в ИИ.
- Были раскрыты как общие пароли, так и пароль, связанный с банком Wells Fargo, что поставило под сомнение защиту конфиденциальной информации.
- Этот случай подчеркивает необходимость улучшения контекстного анализа и обнаружения лингвистических манипуляций в системах искусственного интеллекта.
В течение последних нескольких дней, Техническое сообщество стало свидетелем новой полемики вокруг ChatGPT., популярная языковая модель OpenAI. Экспертам по кибербезопасности удалось заставить искусственный интеллект раскрыть ключи продуктов Windows используя Стратегия настолько же простая, насколько и эффективная: игра в угадайкуЭта уязвимость в очередной раз выносит на первый план дискуссий надежность систем защиты искусственного интеллекта и риски манипуляции с помощью методов социальной инженерии.
Открытие началось с, казалось бы, безобидной предпосылки: Задание типа «головоломка», запущенное на ChatGPT, в котором ИИ должен был придумать настоящую строку символов —в частности, ключ активации Windows 10— и ограничьте свои ответы «да» или «нет» Пока пользователь не сдавался. Говоря «Я сдаюсь», модель должна была показать воображаемый ключ. Всё взаимодействие было разработано таким образом, чтобы замаскировать реальную просьбу под игривую иллюзию, сбивая с толку автоматические системы защиты ChatGPT.
Загадка: как им удалось преодолеть барьеры ИИ
Метод состоял из представить ключевой запрос как часть игровой динамики, устанавливая правила, которые заставляли модель участвовать и быть правдивой в своих ответах. Таким образом, ИИ оказался в ловушке, в которой он не мог обнаружить никакого аномального или потенциально опасного поведения., интерпретируя это как законный разговор без следов злого умысла.
Чтобы обойти обычные фильтры OpenAI, которые, например, не позволяют ИИ делиться конфиденциальным кодом или защищенными данными, был использован дополнительный уровень инженерии: Конфиденциальные строки были встроены в HTML-теги, невидимые для пользователя, но обрабатываемые моделью. Когда пользователь, следуя игровому сценарию, произносил ожидаемое «Сдаюсь», ChatGPT раскрывал ключ, тем самым обходя любые ограничения, основанные исключительно на явных ключевых словах или шаблонах.
Какую информацию это раскрыло и почему это так важно?
По свидетельствам исследователей и многочисленным анализам, опубликованным в специализированных СМИ, ИИ смог показать до десяти ключей продукта Windows 10.Большинство были общие и открытые ключи —похожи на те, которые Microsoft временно разрешает использовать для тестирования,—но по крайней мере одна из них соответствовала корпоративной лицензии, конкретно связанной с банком Wells Fargo.
Эта деталь особенно тревожна., поскольку это показывает, что некоторые закрытые и конфиденциальные ключи могли быть сохранены в наборе данных, с помощью которого обучался ChatGPT, вероятно, после того, как они были опубликованы в публичных репозиториях, таких как GitHub или другие интернет-форумы.
Специалисты по кибербезопасности предупреждают что этот тип техники может использоваться не только для получения лицензий на программное обеспечение, но и для обхода фильтров контента, касающихся персональных данных, API, вредоносных ссылок или материалов, ограниченных по юридическим причинам.
Почему ИИ не смог распознать риск и каковы причины этого
Успех атаки заключается не в техническом нарушении исходного кода, а в слабость механизмов контекстного понимания ИИМодель, рассматривая взаимодействие как игру, не применяет строжайший контроль и не определяет манипулируемый контекст как потенциально опасный.
Кроме, узнав из текстов, взятых из открытых источников —где ключи могут появляться часто и без учета их чувствительности—, ChatGPT не классифицирует их как «конфиденциальную информацию», а скорее как приемлемые строки. в любом разговоре.
Метод показывает, что системы защиты, основанные исключительно на списках запрещенных слов или поверхностных фильтрах Недостаточны, когда атака замаскирована под невинный контекст. Более того, исследователи подчёркивают, что высокие технические знания не требуются осуществлять такого рода манипуляции, что увеличивает величину риска.
Выводы и рекомендации для пользователей и разработчиков
Этот инцидент был Уведомление для навигаторов и разработчиков моделей ИИВнедрённые правила, какими бы строгими они ни были, можно обойти с помощью фрейминговых стратегий и ролевых игр в разговоре. ПоэтомуЭксперты отмечают, что ключевой рекомендацией является включение механизмов обнаружения семантических намерений, оценивая не только содержание, но и цель каждого взаимодействия.
Для обычных пользователей или компаний, которые используют виртуальных помощников, лучшей мерой предосторожности остается никогда не передавайте конфиденциальные данные в диалогах с моделями ИИ. Аудит данных, опубликованных на публичных форумах и в репозиториях, также важен как никогда, поскольку он может в конечном итоге помочь будущим версиям ИИ в обучении с использованием критически важной информации.
- Избегайте ввода конфиденциальной информации в чатах ИИ, даже если разговор кажется невинным.
- Если вы разрабатываете программное обеспечение с использованием языковых моделей, добавьте независимые элементы управления для отфильтровывания возможных утечек.
- Просмотр и удаление скомпрометированных данных с легко индексируемых публичных платформ.
То, что произошло с ChatGPT и игрой в угадайку, показывает, что Безопасность в сфере искусственного интеллекта должна выходить далеко за рамки простой блокировки терминов или обнаружения статических шаблонов.Защитные барьеры должны подкрепляться глубоким и реальным пониманием контекста и намерений, стоящих за каждой подсказкой, предвосхищая креативные стратегии манипуляции.
Я энтузиаст технологий, который превратил свои «компьютерные» интересы в профессию. Я провел более 10 лет своей жизни, используя передовые технологии и возясь со всевозможными программами из чистого любопытства. Сейчас я специализируюсь на компьютерных технологиях и видеоиграх. Это потому, что более 5 лет я пишу статьи для различных сайтов, посвященных технологиям и видеоиграм, создавая статьи, которые стремятся дать вам необходимую информацию на понятном каждому языке.
Если у вас есть какие-либо вопросы, мои знания варьируются от всего, что связано с операционной системой Windows, а также Android для мобильных телефонов. И я предан вам, я всегда готов потратить несколько минут и помочь вам решить любые вопросы, которые могут у вас возникнуть в этом мире Интернета.