ChatGPT ShadowLeak: Deep Research-feilen i ChatGPT som kompromitterte Gmail-data

Nyere forskning har avdekket et sikkerhetshull i ChatGPTs Deep Research-agent som, under visse betingelser, kunne legge til rette for utdata av informasjon fra e-poster som er lagret i GmailOppdagelsen fremhever risikoen ved å koble AI-assistenter til innbokser og andre tjenester som inneholder sensitive data.

Cybersikkerhetsfirmaet Radware rapporterte problemet til OpenAI, og leverandøren utbedret det på sensommeren før det ble offentlig kjent.Selv om utnyttelsesscenarioet var begrenset og det finnes ingen bevis for overgrep i den virkelige verden, teknikken som brukes, etterlater en viktig lærdom for brukere og bedrifter.

Hva skjedde med ChatGPT- og Gmail-dataene?

Deep Research er en ChatGPT-agent orientert mot flertrinnsundersøkelser som, hvis brukeren autoriserer det, kan konsultere private kilder som Gmail å generere rapporter. Feilen åpnet døren for at en angriper kunne forberede en spesifikk melding, og systemet kunne følge uønskede kommandoer når det analyserte innboksen.

Den reelle risikoen var avhengig av personen som ba ChatGPT om å gjennomføre en spesifikk undersøkelse av e-posten sin, og at problemet samsvarte med innholdet i den ondsinnede e-postenLikevel demonstrerer vektoren hvordan en AI-agent kan bli selve brikken som legger til rette for datalekkasje.

Blant den potensielt berørte informasjonen kan det dukke opp navn, adresser eller andre personopplysninger tilstede i meldingene som ble behandlet av agenten. Dette var ikke en åpen tilgang til kontoen, men snarere en utfiltrering betinget av oppgaven som var tildelt assistenten.

Et spesielt delikat aspekt er at aktiviteten startet fra OpenAI-skyinfrastruktur, noe som gjorde det vanskelig for tradisjonelle forsvarssystemer å oppdage unormal oppførsel ettersom den ikke stammer fra brukerens enhet.

ShadowLeak: Den raske injeksjonen som gjorde det mulig

Radware kalte teknikken ShadowLeak og rammer den inn i en indirekte rask injeksjonskjulte instruksjoner i innholdet som agenten analyserer, som kan påvirke dens oppførsel uten at brukeren merker det.

Angriperen sendte en e-post med kamuflerte HTML-instruksjoner gjennom triks som små fonter eller hvit tekst på hvit bakgrunn. Ved første øyekast E-posten virket harmløs, men inneholdt instruksjoner om å søke i innboksen etter spesifikke data..

Da brukeren ba Deep Research om å jobbe med e-posten hans, leste agenten de usynlige instruksjonene og fortsatte med å hente ut og sende data til et nettsted kontrollert av angriperenI tester gikk forskerne til og med så langt som å kode informasjonen i Base64 for å fremstå som et antatt sikkerhetstiltak.

Barrierer som krevde eksplisitt samtykke for å åpne lenker kunne også omgås ved å bruke agentens egne navigasjonsverktøy, noe som forenklet eksfiltrering til eksterne domener under angriperens kontroll.

I kontrollerte miljøer, Radware-teamene bemerket en svært høy grad av effektivitet, som viser at kombinasjonen av posttilgang og agentautonomi kan være overbevisende for modellen hvis innebygde instruksjoner ikke er riktig filtrert.

Hvorfor det gikk ubemerket hen hos forsvaret

Kommunikasjonen kom fra pålitelige servere, så bedriftssystemene så legitim trafikk som stammet fra en pålitelig tjeneste. Denne detaljen gjorde lekkasjen til en blindsone for mange løsninger overvåking.

Videre trengte ikke offeret å klikke eller utføre noe spesifikt: han ba ganske enkelt agenten om et søk relatert til emnet i e-posten som angriperen hadde utarbeidet, noe som gjør manøveren stille og vanskelig å spore.

Forskere understreker at Vi står overfor en ny type trussel der AI-agenten selv fungerer som en vektor. Selv med begrenset praktisk innvirkning tvinger saken oss til å gjennomgå hvordan vi gir tillatelser til automatiserte verktøy.

Feilretting og praktiske anbefalinger

OpenAI implementerte tiltak etter Radwares varsling og uttrykte sin takknemlighet for den kontradiktoriske bevisførselen, og understreket at den kontinuerlig styrker sine sikkerhetstiltak. Til dags dato hevder leverandøren at det finnes ingen bevis for utnyttelse av denne vektoren.

Deep Research er en valgfri agent som bare kan koble til Gmail med brukerens uttrykkelige tillatelse. Før du kobler innbokser eller dokumenter til en assistent, Det er tilrådelig å vurdere det reelle omfanget av tillatelsene og begrense tilgangen til det som er strengt nødvendig..

Hvis du har koblet til Google-tjenester, gjennomgå og feilsøke tilgang Det er enkelt:

• Gå til myaccount.google.com/security for å åpne sikkerhetspanelet.
• I tilkoblingsdelen klikker du på Vis alle tilkoblinger.
• Identifiser ChatGPT eller andre apper du ikke kjenner igjen, og tilbakekall tillatelser..
• Fjern unødvendig tilgang og gi bare de strengt nødvendige tilgangene på nytt. viktig.

Para usuarios y empresas, Det er nøkkelen til å kombinere sunn fornuft og tekniske tiltak: hold alt oppdatert, bruk prinsippet om minste privilegium på agenter og kontakter., og overvåke aktiviteten til verktøy med tilgang til sensitive data.

I bedriftsmiljøer anbefaler eksperter å innlemme ytterligere kontroller for AI-agenter, og hvis Deep Research eller lignende tjenester brukes, begrense muligheter som å åpne lenker eller sende data til ubekreftede domener.

Radwares forskning og OpenAIs raske tiltak gir en klar lærdom: å koble assistenter til Gmail gir fordeler, men krever sikkerhet evaluere tillatelser, overvåke atferd og anta at instruksjonsinjeksjon vil fortsette å teste AI-agenter.