ChatGPT ShadowLeak: Der Deep Research-Fehler in ChatGPT, der Gmail-Daten kompromittiert hat

Neuere Forschungen haben ergeben eine Sicherheitslücke im Deep Research-Agent von ChatGPT, dieunter bestimmten Bedingungen könnte die Ausgabe von Informationen aus in Gmail gehosteten E-Mails erleichternDie Entdeckung verdeutlicht die Risiken, die mit der Verbindung von KI-Assistenten mit Posteingängen und anderen Diensten verbunden sind, die vertrauliche Daten enthalten.

Das Cybersicherheitsunternehmen Radware meldete das Problem an OpenAI und der Anbieter löste es im Spätsommer, bevor es öffentlich bekannt wurde.. Obwohl das Ausbeutungsszenario begrenzt war und Es gibt keine Hinweise auf Missbrauch in der realen Welt, die verwendete Technik lässt eine wichtige Lektion für Benutzer und Unternehmen.

Was ist mit den ChatGPT- und Gmail-Daten passiert?

Deep Research ist ein ChatGPT-Agent orientiert sich an mehrstufigen Untersuchungen die, wenn der Benutzer es autorisiert, konsultieren können private Quellen wie Gmail um Berichte zu erstellen. Der Fehler öffnete einem Angreifer die Tür, eine bestimmte Nachricht vorzubereiten, und das System konnte bei der Analyse des Posteingangs unerwünschte Befehle ausführen.

Das eigentliche Risiko hing davon ab, dass die Person, die ChatGPT um eine spezifische Untersuchung ihrer E-Mails bat, das Problem stimmte mit dem Inhalt der bösartigen E-Mail übereinDennoch zeigt der Vektor, wie ein KI-Agent genau zu dem Teil werden kann, der Datenlecks begünstigt.

Zu den potenziell betroffenen Informationen könnten gehören Namen, Adressen oder andere persönliche Daten in den vom Agenten verarbeiteten Nachrichten vorhanden. Es handelte sich dabei nicht um einen offenen Zugriff auf das Konto, sondern um eine Exfiltration, die durch die dem Assistenten zugewiesene Aufgabe bedingt war.

Ein besonders heikler Aspekt besteht darin, dass die Aktivität von der OpenAI-Cloud-Infrastruktur, was es für herkömmliche Abwehrmaßnahmen schwierig machte, anomales Verhalten zu erkennen, da es nicht vom Gerät des Benutzers ausging.

ShadowLeak: Die sofortige Injektion, die es möglich machte

Radware nannte die Technik ShadowLeak und rahmt es in ein indirekte sofortige Injektion: versteckte Anweisungen innerhalb des vom Agenten analysierten Inhalts, die dessen Verhalten beeinflussen können, ohne dass der Benutzer es bemerkt.

Der Angreifer schickte eine E-Mail mit getarnte HTML-Anweisungen durch Tricks wie winzige Schriftarten oder weißen Text auf weißem Hintergrund. Auf den ersten Blick Die E-Mail schien harmlos, enthielt jedoch Anweisungen, den Posteingang nach bestimmten Daten zu durchsuchen..

Als der Benutzer Deep Research bat, an seiner E-Mail zu arbeiten, las der Agent diese unsichtbaren Anweisungen und fuhr fort, Daten zu extrahieren und an eine vom Angreifer kontrollierte Website zu sendenIn Tests gingen die Forscher sogar so weit, die Informationen in Base64 zu kodieren, um den Anschein einer vermeintlichen Sicherheitsmaßnahme zu erwecken.

Barrieren, die eine ausdrückliche Zustimmung zum Öffnen von Links erforderten, konnten auch durch den Aufruf der eigenen Navigationstools des Agenten umgangen werden, was die Exfiltration in externe Domänen unter der Kontrolle des Angreifers.

In kontrollierten Umgebungen Die Radware-Teams stellten eine sehr hohe Effektivität fest, was zeigt, dass die Kombination aus Mail-Zugriff und Agentenautonomie überzeugend für das Modell wenn eingebettete Anweisungen nicht richtig gefiltert werden.

Warum es von der Verteidigung unbemerkt blieb

Die Kommunikation stammte von vertrauenswürdigen Servern, sodass die Unternehmenssysteme legitimen Datenverkehr von einem seriösen Dienst erkannten. Dieses Detail machte das Leck zu einem blinder Fleck für viele Lösungen Überwachung.

Darüber hinaus musste das Opfer nichts Bestimmtes anklicken oder ausführen: Es forderte den Agenten lediglich auf, eine Suche im Zusammenhang mit dem Betreff der vom Angreifer vorbereiteten E-Mail durchzuführen, was das Manöver lautlos und schwer zu verfolgen.

Forscher betonen, dass Wir stehen vor einer neuen Art von Bedrohung Dabei fungiert der KI-Agent selbst als Vektor. Auch wenn die praktischen Auswirkungen begrenzt sind, zwingt uns der Fall dazu, die Art und Weise zu überdenken, wie wir automatisierten Tools Berechtigungen erteilen.

Fehlerbehebung und praktische Empfehlungen

OpenAI implementierte nach der Benachrichtigung von Radware Abhilfemaßnahmen und bedankte sich für die gegenteilige Beweisführung und betonte, dass man seine Sicherheitsvorkehrungen kontinuierlich verstärke. Bis heute behauptet der Anbieter, dass Es gibt keine Hinweise auf Ausbeutung dieses Vektors.

Deep Research ist ein optionaler Agent, der nur mit ausdrücklicher Zustimmung des Nutzers eine Verbindung zu Gmail herstellen kann. Bevor Sie Posteingänge oder Dokumente mit einem Assistenten verknüpfen, Es ist ratsam, den tatsächlichen Umfang der Genehmigungen zu prüfen und den Zugriff auf das unbedingt Notwendige zu beschränken..

Wenn Sie Google-Dienste verknüpft haben, Überprüfungs- und Debug-Zugriff Es ist ganz einfach:

• Gehen Sie zu myaccount.google.com/security um das Sicherheitsfenster zu öffnen.
• Klicken Sie im Abschnitt „Verbindungen“ auf „Alle Verbindungen anzeigen“..
• Identifizieren Sie ChatGPT oder andere Apps, die Sie nicht kennen, und widerrufen Sie die Berechtigungen..
• Entfernen Sie unnötigen Zugriff und gewähren Sie nur die unbedingt notwendigen erneut. essentiell.

Für Nutzer und Unternehmen, Es ist wichtig, gesunden Menschenverstand und technische Maßnahmen zu kombinieren: Halten Sie alles auf dem neuesten Stand, wenden Sie das Prinzip der geringsten Privilegien auf Agenten und Konnektoren anund überwachen Sie die Aktivität von Tools mit Zugriff auf vertrauliche Daten.

In Unternehmensumgebungen empfehlen Experten, zusätzliche Kontrollen für KI-Agenten einzubauen und, wenn Deep Research oder ähnliche Dienste verwendet werden, Funktionen einschränken wie das Öffnen von Links oder das Senden von Daten an nicht verifizierte Domänen.

Die Forschung von Radware und die schnelle Eindämmung durch OpenAI zeigen deutlich: Die Verbindung von Assistenten mit Gmail bietet Vorteile, aber auch Sicherheitsanforderungen Berechtigungen auswerten, Verhalten überwachen und gehen Sie davon aus, dass die Anweisungsinjektion weiterhin KI-Agenten testen wird.