Ze hebben een manier gevonden om opdrachten in een foto te verwerken in Gemini: door simpelweg te schalen, voert de AI ze uit.

Laatste update: 03/09/2025

  • Bij een aanval worden onzichtbare multimodale prompts in afbeeldingen verborgen die, wanneer ze op Gemini worden geschaald, zonder waarschuwing worden uitgevoerd.
  • De vector maakt gebruik van beeldvoorbewerking (224x224/512x512) en activeert hulpmiddelen als Zapier om gegevens te exfiltreren.
  • De algoritmen 'neighbour', 'bilineaire' en 'bicubische' zijn kwetsbaar. Deze kunnen echter wel worden geïnjecteerd met de Anamorpher-tool.
  • Deskundigen adviseren om het verkleinen, vooraf bekijken van invoer en het vereisen van bevestiging voordat gevoelige handelingen worden uitgevoerd, te vermijden.

Beeldaanvallen op AI-systemen

Een groep onderzoekers heeft een inbraakmethode gedocumenteerd die in staat is om het stelen van persoonlijke gegevens door verborgen instructies in afbeeldingen te injecterenWanneer deze bestanden worden geüpload naar multimodale systemen zoals Gemini, worden de opdrachten automatisch voorverwerkt en volgt de AI ze alsof ze geldig zijn.

De ontdekking, gemeld door The Trail of Bits, heeft gevolgen voor productieomgevingen. zoals Gemini CLI, Vertex AI Studio, Gemini API, Google Assistant of GensparkGoogle heeft erkend dat dit een aanzienlijke uitdaging is voor de industrie, en er is tot nu toe geen bewijs van misbruik in de praktijk. De kwetsbaarheid werd in besloten kring gemeld via Mozilla's 0Din-programma.

Hoe de afbeeldingschalingsaanval werkt

Hoe de Gemini Image Scaling-aanval werkt

De sleutel ligt in de pre-analysestap: veel AI-pijplijnen Afbeeldingen automatisch aanpassen naar standaardresoluties (224×224 of 512×512)In de praktijk ziet het model niet het originele bestand, maar een verkleinde versie ervan. En dáár wordt de schadelijke inhoud onthuld.

Exclusieve inhoud - Klik hier  Hoe u Samsung Wallet kunt overschakelen naar Google Pay

Aanvallers steken in Multimodale prompts gecamoufleerd door onzichtbare watermerken, vaak in donkere delen van de foto. Wanneer de upscaling-algoritmen worden uitgevoerd, ontstaan ​​deze patronen en interpreteert het model ze als legitieme instructies, wat kan leiden tot ongewenste acties.

In gecontroleerde tests slaagden onderzoekers erin om Gegevens uit Google Agenda halen en naar een extern e-mailadres sturen zonder bevestiging van de gebruiker. Bovendien linken deze technieken naar de familie van snelle injectieaanvallen reeds aangetoond in agentische tools (zoals Claude Code of OpenAI Codex), die in staat zijn om informatie exfiltreren of automatiseringsacties activeren het uitbuiten van onveilige stromen.

De distributievector is breed: een afbeelding op een website, een meme gedeeld op WhatsApp of een phishingcampagne kon Activeer de prompt wanneer u de AI vraagt ​​de inhoud te verwerkenHet is belangrijk om te benadrukken dat de aanval plaatsvindt wanneer de AI-pijplijn de schaalaanpassing uitvoert vóór de analyse. Het bekijken van de afbeelding zonder die stap te doorlopen, activeert de aanval niet.

Daarom concentreert het risico zich in stromen waarbij AI toegang heeft tot verbonden tools (bijv. e-mails verzenden, agenda's controleren of API's gebruiken): Als er geen beveiligingen zijn, worden deze uitgevoerd zonder tussenkomst van de gebruiker.

Kwetsbare algoritmen en betrokken tools

Kwetsbaarheid in beeldschaling in AI

De aanval maakt gebruik van de manier waarop bepaalde algoritmen comprimeer informatie met hoge resolutie in minder pixels Bij het verkleinen: dichtstbijzijnde-buur-interpolatie, bilineaire interpolatie en bicubische interpolatie. Elk vereist een andere inbeddingstechniek om het bericht de groottewijziging te laten overleven.

Exclusieve inhoud - Klik hier  Android System SafetyCore: wat is het en waarom staat het op uw telefoon?

Om deze instructies in te sluiten is gebruik gemaakt van de open source tool Anamorf, ontworpen om prompts in afbeeldingen te injecteren op basis van het beoogde schaalalgoritme en deze te verbergen in subtiele patronen. De beeldvoorbewerking van de AI onthult ze uiteindelijk.

Zodra de prompt wordt onthuld, kan het model Activeer integraties zoals Zapier (of diensten vergelijkbaar met IFTTT) en kettingacties: gegevensverzameling, het verzenden van e-mails of verbindingen met diensten van derden, alles binnen een schijnbaar normale stroom.

Kortom, dit is geen geïsoleerd falen van een leverancier, maar eerder een structurele zwakte bij het verwerken van geschaalde afbeeldingen binnen multimodale pijplijnen die tekst, visie en hulpmiddelen combineren.

Mitigerende maatregelen en goede praktijken

synthID

Onderzoekers raden aan vermijd downscaling waar mogelijk en in plaats daarvan, limietbelastingafmetingenWanneer opschaling noodzakelijk is, is het raadzaam om een preview van wat het model daadwerkelijk zal zien, ook in CLI-tools en in de API, en gebruik detectietools zoals Google SynthID.

Op ontwerpniveau is de meest solide verdediging via beveiligingspatronen en systematische controles tegen berichtinjectie: geen inhoud die in een afbeelding is ingebed, mag kunnen initiëren Oproepen naar gevoelige tools zonder expliciete bevestiging van de gebruiker.

Exclusieve inhoud - Klik hier  Hoe huurfraude te voorkomen

Op operationeel niveau is het verstandig Vermijd het uploaden van afbeeldingen van onbekende oorsprong naar Gemini en controleer zorgvuldig de machtigingen die aan de assistent of apps zijn verleend (toegang tot e-mail, agenda, automatiseringen, enz.). Deze barrières verminderen de potentiële impact aanzienlijk.

Voor technische teams is het de moeite waard om de multimodale voorverwerking te controleren, de actie-sandbox te verharden en registreren/waarschuwen bij afwijkende patronen Activering van de tool na analyse van afbeeldingen. Dit vormt een aanvulling op de verdediging op productniveau.

Alles wijst erop dat we voor een situatie staan een andere variant van snelle injectie Toegepast op visuele kanalen. Met preventieve maatregelen, invoerverificatie en verplichte bevestigingen wordt de exploitatiemarge verkleind en het risico voor gebruikers en bedrijven beperkt.

Het onderzoek richt zich op een blinde vlek in multimodale modellen: Het schalen van afbeeldingen kan een aanvalsvector worden Als u dit niet in de gaten houdt, kunt u door inzicht te krijgen in de manier waarop invoer wordt voorverwerkt, door machtigingen te beperken en door bevestigingen te vereisen voordat er kritieke acties worden uitgevoerd, het verschil maken tussen een momentopname en de toegangspoort tot uw gegevens.

extensies detecteren afbeeldingen gegenereerd door AI-0
Gerelateerd artikel:
Hoe je kunt detecteren of een afbeelding is gemaakt door kunstmatige intelligentie: hulpmiddelen, extensies en trucs om te voorkomen dat je in de val trapt