ChatGPT ShadowLeak: Luka w ChatGPT ujawniona w ramach Deep Research, która naraziła dane Gmaila

Najnowsze badania ujawniły luka w zabezpieczeniach agenta Deep Research firmy ChatGPT, która, pod pewnymi warunkami, może ułatwić wyprowadzanie informacji z wiadomości e-mail przechowywanych w GmailuOdkrycie to uwypukla zagrożenia związane z podłączaniem asystentów AI do skrzynek odbiorczych i innych usług zawierających poufne dane.

Firma zajmująca się cyberbezpieczeństwem Firma Radware zgłosiła problem do OpenAI, a dostawca zaradził mu pod koniec lata, zanim sprawa stała się powszechnie znana.. Chociaż scenariusz eksploatacji był ograniczony i nie ma dowodów na nadużycia w realnym świecie, zastosowana technika pozostawia ważna lekcja dla użytkowników i firm.

Co stało się z danymi ChatGPT i Gmaila?

Deep Research jest agentem ChatGPT zorientowany na badania wieloetapowe który może, jeśli użytkownik wyrazi na to zgodę, konsultować się prywatne źródła, takie jak Gmail do generowania raportów. Błąd otworzył atakującemu drogę do przygotowania konkretnej wiadomości, a system, analizując skrzynkę odbiorczą, mógł wykonywać niechciane polecenia.

Rzeczywiste ryzyko zależało od osoby, która zwróciła się do ChatGPT z prośbą o przeprowadzenie szczegółowego dochodzenia w sprawie jej wiadomości e-mail i od tego, czy problem został rozwiązany. dopasowano treść złośliwego e-maila. Mimo to wektor pokazuje, w jaki sposób agent AI może stać się czynnikiem ułatwiającym wyciek danych.

Wśród potencjalnie zagrożonych informacji mogą znaleźć się imiona, adresy lub inne dane osobowe obecne w wiadomościach przetwarzanych przez agenta. Nie był to otwarty dostęp do konta, lecz raczej eksfiltracja uwarunkowana zadaniem przypisanym asystentowi.

Szczególnie delikatnym aspektem jest to, że działalność rozpoczęła się od Infrastruktura chmurowa OpenAI, co utrudniało tradycyjnym metodom ochrony wykrywanie nietypowych zachowań, ponieważ nie wynikały one z urządzenia użytkownika.

ShadowLeak: Szybka iniekcja, która to umożliwiła

Radware nadało tej technice nazwę ShadowLeak i oprawia to w pośrednia natychmiastowa iniekcja:ukryte instrukcje w treści analizowanej przez agenta, które mogą wpływać na jego zachowanie bez wiedzy użytkownika.

Napastnik wysłał e-mail z zakamuflowane instrukcje HTML poprzez sztuczki takie jak małe czcionki lub biały tekst na białym tle. Na pierwszy rzut oka E-mail wydawał się niegroźny, jednak zawierał instrukcję, jak przeszukać skrzynkę odbiorczą w celu znalezienia określonych danych..

Gdy użytkownik poprosił Deep Research o pracę nad jego e-mailem, agent przeczytał te niewidoczne instrukcje i przystąpił do wyodrębniania i wysyłania danych do witryny kontrolowanej przez atakującegoPodczas testów badacze posunęli się nawet do zakodowania informacji w standardzie Base64, co miało rzekomo służyć jako środek bezpieczeństwa.

Bariery wymagające wyraźnej zgody na otwieranie linków można było również obejść, korzystając z własnych narzędzi nawigacyjnych agenta, co ułatwiało eksfiltracja do domen zewnętrznych pod kontrolą atakującego.

W kontrolowanych środowiskach, Zespoły Radware odnotowały bardzo wysoki stopień skuteczności, wykazując, że połączenie dostępu do poczty i autonomii agenta może być przekonujący dla modelu jeśli osadzone instrukcje nie są odpowiednio filtrowane.

Dlaczego obrona nie zwróciła na to uwagi

Komunikacja pochodziła z zaufanych serwerów, więc systemy korporacyjne wykryły legalny ruch pochodzący z renomowanej usługi. Ten szczegół sprawił, że wyciek stał się… ślepy punkt dla wielu rozwiązań monitorowanie.

Co więcej, ofiara nie musiała klikać ani wykonywać żadnych konkretnych czynności: po prostu poprosiła agenta o wyszukiwanie powiązane z tematem wiadomości e-mail przygotowanej przez atakującego, co ułatwia wykonanie manewru cichy i trudny do śledzenia.

Naukowcy podkreślają, że Stajemy w obliczu nowego rodzaju zagrożenia W tym przypadku agent AI działa jak wektor. Nawet przy ograniczonym praktycznym wpływie, przypadek ten zmusza nas do ponownego przemyślenia sposobu, w jaki udzielamy uprawnień zautomatyzowanym narzędziom.

Korekta błędów i praktyczne zalecenia

OpenAI wdrożyło środki zaradcze po powiadomieniu Radware i wyraził wdzięczność za dowody przeciwne, podkreślając, że stale wzmacnia swoje zabezpieczenia. Do tej pory dostawca twierdzi, że nie ma dowodów na wykorzystywanie tego wektora.

Deep Research to opcjonalny agent, który może połączyć się z Gmailem tylko za wyraźną zgodą użytkownika. Przed połączeniem skrzynek odbiorczych lub dokumentów z asystentem, Wskazane jest dokonanie oceny rzeczywistego zakresu zezwoleń i ograniczenie dostępu do tego, co jest absolutnie niezbędne..

Jeśli połączyłeś usługi Google, dostęp do przeglądu i debugowania To proste:

• Przejdź do myaccount.google.com/security aby otworzyć panel bezpieczeństwa.
• W sekcji połączeń kliknij opcję Wyświetl wszystkie połączenia.
• Zidentyfikuj ChatGPT lub inne aplikacje, których nie rozpoznajesz, i cofnij uprawnienia..
• Usuń niepotrzebne uprawnienia i przyznaj tylko te, które są absolutnie niezbędne. niezbędny.

Dla użytkowników i firm, Kluczowe jest połączenie zdrowego rozsądku z technicznymi rozwiązaniami: dbaj o aktualność wszystkiego, stosuj zasadę najmniejszych uprawnień dla agentów i łącznikówi monitorować aktywność narzędzi mających dostęp do poufnych danych.

W środowiskach korporacyjnych eksperci zalecają wprowadzenie dodatkowych kontroli dla agentów AI, a w przypadku korzystania z Deep Research lub podobnych usług, ograniczyć możliwości takie jak otwieranie linków lub wysyłanie danych do niezweryfikowanych domen.

Badania Radware i szybkie rozwiązanie OpenAI dają jasną lekcję: połączenie asystentów z Gmailem oferuje korzyści, ale stawia wymagania bezpieczeństwa oceniać uprawnienia, monitorować zachowania i zakładamy, że wstrzykiwanie instrukcji będzie nadal testować agentów AI.