Au găsit o modalitate de a strecura comenzi într-o fotografie în Gemini: scalarea simplă face ca inteligența artificială să le execute.

Ultima actualizare: 03/09/2025

  • Un atac ascunde solicitări multimodale invizibile în imagini care, atunci când sunt scalate pe Gemini, se execută fără avertisment.
  • Vectorul utilizează preprocesarea imaginilor (224x224/512x512) și declanșează instrumente precum Zapier pentru exfiltrarea datelor.
  • Algoritmii „cel mai apropiat vecin”, biliniari și bicubi sunt vulnerabili; instrumentul Anamorpher permite injectarea lor.
  • Experții recomandă evitarea reducerii dimensiunilor, previzualizării datelor introduse și solicitării confirmării înainte de efectuarea unor acțiuni sensibile.

Atacuri de imagine asupra sistemelor de inteligență artificială

Un grup de cercetători a documentat o metodă de intruziune capabilă să furtul de date personale prin injectarea de instrucțiuni ascunse în imaginiCând aceste fișiere sunt încărcate în sisteme multimodale precum Gemini, preprocesarea automată activează comenzile, iar inteligența artificială le urmează ca și cum ar fi valide.

Descoperirea, raportată de The Trail of Bits, afectează mediile de producție. cum ar fi Gemini CLI, Vertex AI Studio, Gemini API, Google Assistant sau GensparkGoogle a recunoscut că aceasta este o provocare semnificativă pentru industrie, fără dovezi ale exploatării în medii reale până în prezent. Vulnerabilitatea a fost raportată privat prin intermediul programului 0Din al Mozilla.

Cum funcționează atacul de scalare a imaginii

Cum funcționează atacul de scalare a imaginilor Gemini

Cheia constă în etapa de pre-analiză: multe conducte de inteligență artificială Redimensionează automat imaginile la rezoluții standard (224×224 sau 512×512)În practică, modelul nu vede fișierul original, ci mai degrabă o versiune redusă, iar acolo este dezvăluit conținutul rău intenționat.

Conținut exclusiv - Faceți clic aici  Cum să comutați Samsung Wallet la Google Pay

Atacatorii introduc Sugestii multimodale camuflate de filigrane invizibile, adesea în zonele întunecate ale fotografiei. Când rulează algoritmii de upscaling, aceste tipare apar, iar modelul le interpretează ca instrucțiuni legitime, ceea ce poate duce la acțiuni nedorite.

În testele controlate, cercetătorii au reușit să Extrageți date din Google Calendar și trimiteți-le către o adresă de e-mail externă fără confirmarea utilizatorului. În plus, aceste tehnici se leagă de familia de atacuri rapide de injecție deja demonstrat în instrumente agențice (cum ar fi Claude Code sau OpenAI Codex), capabile de exfiltrarea informațiilor sau declanșarea acțiunilor de automatizare exploatarea fluxurilor nesigure.

Vectorul de distribuție este larg: o imagine pe un site web, o memă distribuită pe WhatsApp sau o campanie de phishing ar putea Activează solicitarea atunci când îi ceri inteligenței artificiale să proceseze conținutulEste important de subliniat faptul că atacul se materializează atunci când canalul de inteligență artificială efectuează scalarea înainte de analiză; vizualizarea imaginii fără a parcurge acest pas nu îl declanșează.

Prin urmare, riscul este concentrat în fluxurile în care IA are acces la instrumente conectate (de exemplu, trimiteți e-mailuri, verificați calendare sau utilizați API-uri): Dacă nu există măsuri de siguranță, le va executa fără intervenția utilizatorului.

Algoritmi și instrumente vulnerabile implicate

Vulnerabilitatea scalării imaginilor în IA

Atacul exploatează modul în care anumiți algoritmi comprimați informațiile de înaltă rezoluție în mai puțini pixeli la reducerea dimensiunii: interpolare cu cel mai apropiat vecin, interpolare biliniară și interpolare bicubică. Fiecare necesită o tehnică de încorporare diferită pentru ca mesajul să supraviețuiască redimensionării.

Conținut exclusiv - Faceți clic aici  Android System SafetyCore: Ce este și de ce este pe telefonul tău?

Pentru a integra aceste instrucțiuni, a fost utilizat instrumentul open source Anamorfă, conceput pentru a injecta solicitări în imagini pe baza algoritmului de scalare a țintei și a le ascunde în modele subtile. Preprocesarea imaginilor de către inteligența artificială le dezvăluie apoi.

Odată ce solicitarea este dezvăluită, modelul poate activează integrări precum Zapier (sau servicii similare cu IFTTT) și acțiuni în lanț: colectarea de date, trimiterea de e-mailuri sau conexiuni către servicii terțe, totul într-un flux aparent normal.

Pe scurt, aceasta nu este o defecțiune izolată a unui furnizor, ci mai degrabă o slăbiciune structurală în gestionarea imaginilor scalate în cadrul unor conducte multimodale care combină text, viziune și instrumente.

Măsuri de atenuare și bune practici

synthID

Cercetătorii recomandă evitați reducerea scalei ori de câte ori este posibil și în schimb, dimensiuni limită de sarcinăCând este necesară scalarea, este recomandabil să se includă un previzualizare a ceea ce va vedea modelul de fapt, de asemenea, în instrumentele CLI și în API și utilizați instrumente de detectare precum Google SynthID.

La nivel de proiectare, cea mai solidă apărare este prin modele de securitate și controale sistematice împotriva injectării de mesaje: niciun conținut încorporat într-o imagine nu ar trebui să poată iniția Apeluri către instrumente sensibile fără confirmare explicită a utilizatorului.

Conținut exclusiv - Faceți clic aici  Cum să evitați escrocheriile de închiriere

La nivel operațional, este prudent Evitați încărcarea de imagini de origine necunoscută pe Gemini și să examineze cu atenție permisiunile acordate asistentului sau aplicațiilor (acces la e-mail, calendar, automatizări etc.). Aceste bariere reduc semnificativ impactul potențial.

Pentru echipele tehnice, merită să auditeze preprocesarea multimodală, să consolideze mediul de testare a acțiunilor și înregistrare/alertă privind modelele anormale activarea instrumentului după analizarea imaginilor. Aceasta completează apărarea la nivel de produs.

Totul indică faptul că ne confruntăm o altă variantă de injecție rapidă Aplicat canalelor vizuale. Prin măsuri preventive, verificarea datelor de intrare și confirmări obligatorii, marja de exploatare este redusă, iar riscul este limitat pentru utilizatori și companii.

Cercetarea se concentrează pe un punct orb în modelele multimodale: Scalarea imaginii poate deveni un vector de atac Dacă nu sunt verificate, înțelegerea modului în care datele de intrare sunt preprocesate, limitarea permisiunilor și solicitarea confirmărilor înainte de acțiunile critice pot face diferența dintre o simplă instantanee și poarta de acces către datele dumneavoastră.

extensiile detectează imagini generate de AI-0
Articol asociat:
Cum să detectezi dacă o imagine a fost creată de inteligența artificială: instrumente, extensii și trucuri pentru a evita să cazi în capcană