ChatGPT ShadowLeak: уязвимость в ChatGPT, обнаруженная в ходе глубокого исследования и повлекшая за собой компрометацию данных Gmail

Недавние исследования показали, уязвимость безопасности в агенте глубокого исследования ChatGPT, котораяпри определенных условиях, может облегчить вывод информации из писем, размещенных в GmailЭто открытие подчеркивает риски подключения помощников на основе искусственного интеллекта к почтовым ящикам и другим сервисам, содержащим конфиденциальные данные.

Фирма по кибербезопасности Radware сообщила о проблеме компании OpenAI, и поставщик устранил ее в конце лета, прежде чем она стала достоянием общественности.Хотя сценарий эксплуатации был ограничен и нет никаких доказательств насилия в реальном мире, использованная техника оставляет важный урок для пользователей и предприятий.

Что случилось с данными ChatGPT и Gmail?

Deep Research — это агент ChatGPT ориентированный на многоэтапные исследования который может, если пользователь даст на это разрешение, проконсультироваться частные источники, такие как Gmail для создания отчётов. Ошибка позволяла злоумышленнику подготовить определённое сообщение, а система, анализируя входящие сообщения, могла выполнять нежелательные команды.

Реальный риск зависел от того, кто запрашивал у ChatGPT проведение специального расследования в отношении его электронной почты, и от того, была ли проблема совпало с содержанием вредоносного письма. Тем не менее, вектор демонстрирует, как ИИ-агент может стать тем самым инструментом, который способствует утечке данных.

Среди потенциально затронутой информации может оказаться имена, адреса или другие персональные данные Присутствовал в сообщениях, обработанных агентом. Это был не открытый доступ к аккаунту, а скорее эксфильтрация, обусловленная поставленной перед помощником задачей.

Особенно деликатным аспектом является то, что деятельность началась с Облачная инфраструктура OpenAI, что затрудняло обнаружение аномального поведения традиционными средствами защиты, поскольку оно не исходило от устройства пользователя.

ShadowLeak: мгновенная инъекция, сделавшая это возможным

Radware окрестила эту технологию ShadowLeak и обрамляет его в непрямая быстрая инъекция: скрытые инструкции внутри контента, который анализирует агент, способные влиять на его поведение без ведома пользователя.

Злоумышленник отправил электронное письмо с замаскированные HTML-инструкции С помощью таких трюков, как мелкий шрифт или белый текст на белом фоне. На первый взгляд Письмо казалось безобидным, но содержало инструкции по поиску определенных данных во входящих сообщениях..

Когда пользователь попросил Deep Research поработать над его электронной почтой, агент прочитал эти невидимые инструкции и приступил к извлечению и отправке данных на веб-сайт, контролируемый злоумышленникомВ ходе испытаний исследователи даже зашли так далеко, что кодировали информацию в формате Base64, чтобы создать видимость мер безопасности.

Барьеры, требующие явного согласия на открытие ссылок, также можно было обойти, используя собственные навигационные инструменты агента, что облегчало эксфильтрация во внешние домены под контролем злоумышленника.

В контролируемых условиях, Команды Radware отметили очень высокую степень эффективности, демонстрируя, что сочетание доступа к почте и автономности агента может быть убедительным для модели если встроенные инструкции не отфильтрованы должным образом.

Почему это осталось незамеченным защитой

Сообщения исходили с доверенных серверов, поэтому корпоративные системы считали, что трафик исходит от надёжного сервиса. Эта деталь превратила утечку в слепое пятно для многих решений мониторинг.

Более того, жертве не нужно было нажимать или выполнять что-то конкретное: она просто просила агента выполнить поиск, связанный с темой письма, подготовленного злоумышленником, что делает этот маневр бесшумный и трудно отслеживаемый.

Исследователи подчеркивают, что Мы сталкиваемся с новым типом угрозы В этом случае сам агент ИИ выступает в качестве переносчика. Даже несмотря на ограниченное практическое воздействие, этот случай заставляет нас пересмотреть порядок предоставления разрешений автоматизированным инструментам.

Исправление ошибок и практические рекомендации

OpenAI приняла меры по смягчению последствий после уведомления Radware и выразил благодарность за состязательные доказательства, подчеркнув, что он постоянно укрепляет свои гарантии. На сегодняшний день провайдер утверждает, что нет никаких доказательств эксплуатации этого вектора.

Deep Research — это дополнительный агент, который может подключаться к Gmail только с явного разрешения пользователя. Прежде чем привязывать входящие почтовые ящики или документы к помощнику, Целесообразно оценить реальный объем разрешений и ограничить доступ только тем, что действительно необходимо..

Если у вас подключены сервисы Google, доступ для просмотра и отладки es sencillo:

• Перейдите на myaccount.google.com/security открыть панель безопасности.
• В разделе подключений нажмите «Просмотреть все подключения»..
• Определите, какие приложения вы не знаете, включая ChatGPT и другие, и отзовите разрешения..
• Удалите ненужные права доступа и предоставьте только самые необходимые. imprescindibles.

Para usuarios y empresas, Важно сочетать здравый смысл и технические меры: поддерживать все в актуальном состоянии, применять принцип наименьших привилегий к агентам и коннекторам.и контролировать активность инструментов, имеющих доступ к конфиденциальным данным.

В корпоративной среде эксперты рекомендуют включать дополнительные средства контроля для агентов ИИ и, если используются Deep Research или аналогичные сервисы, ограничить возможности например открытие ссылок или отправка данных на непроверенные домены.

Исследование Radware и быстрое устранение последствий OpenAI дают четкий урок: подключение помощников к Gmail дает преимущества, но требует соблюдения мер безопасности. оценивать разрешения, контролировать поведение и предположить, что внедрение инструкций будет продолжаться для тестирования агентов ИИ.