Našli spôsob, ako v Gemini prepašovať príkazy do fotografie: jednoduché škálovanie prinúti umelú inteligenciu ich vykonať.

Skupina výskumníkov zdokumentovala metódu narušenia schopnú krádež osobných údajov vkladaním skrytých pokynov do obrázkovKeď sa tieto súbory nahrajú do multimodálnych systémov, ako je Gemini, automatické predspracovanie aktivuje príkazy a umelá inteligencia ich sleduje, akoby boli platné.

Objav, o ktorom informoval The Trail of Bits, ovplyvňuje produkčné prostredia. ako napríklad Gemini CLI, Vertex AI Studio, Gemini API, Google Assistant alebo GensparkSpoločnosť Google uznala, že ide o významnú výzvu pre toto odvetvie, pričom zatiaľ neexistujú žiadne dôkazy o zneužití v reálnom prostredí. Zraniteľnosť bola súkromne nahlásená prostredníctvom programu 0Din od spoločnosti Mozilla.

Ako funguje útok na škálovanie obrazu

Kľúčom je krok pred analýzou: veľa kanálov umelej inteligencie Automaticky zmeniť veľkosť obrázkov na štandardné rozlíšenie (224 × 224 alebo 512 × 512)V praxi model nevidí pôvodný súbor, ale zmenšenú verziu, a práve tam sa odhalí škodlivý obsah.

Útočníci vkladajú Multimodálne výzvy maskované neviditeľnými vodoznakmi, často v tmavých oblastiach fotografie. Keď sa spustia algoritmy na zvýšenie rozlíšenia, tieto vzory sa objavia a model ich interpretuje ako legitímne pokyny, čo môže viesť k nechceným akciám.

V kontrolovaných testoch sa výskumníkom podarilo Extrahovať údaje z Kalendára Google a odoslať ich na externý e-mail bez potvrdenia používateľa. Okrem toho tieto techniky odkazujú na rodinu rýchle injekčné útoky už demonštrované v agentových nástrojoch (ako napríklad Claude Code alebo OpenAI Codex), schopné odhaliť informácie alebo spustiť automatizované akcie zneužívanie nezabezpečených tokov.

Distribučný vektor je široký: obrázok na webovej stránke, mém zdieľaný na WhatsApp alebo phishingová kampaň mohol Aktivujte výzvu pri požiadaní umelej inteligencie o spracovanie obsahuJe dôležité zdôrazniť, že k útoku dochádza, keď kanál umelej inteligencie vykoná škálovanie pred analýzou; zobrazenie obrázka bez prejdenia týmto krokom ho nespustí.

Riziko sa preto sústreďuje v tokoch, kde má umelá inteligencia prístup k prepojeným nástrojom (napr. posielať e-maily, kontrolovať kalendáre alebo používať API): Ak neexistujú žiadne ochranné opatrenia, vykoná ich bez zásahu používateľa.

Zraniteľné algoritmy a nástroje

Útok využíva spôsob, akým určité algoritmy komprimovať informácie s vysokým rozlíšením do menšieho počtu pixelov pri zmenšovaní: interpolácia najbližšieho suseda, bilineárna interpolácia a bikubická interpolácia. Každá z nich vyžaduje inú techniku ​​vkladania, aby správa prežila zmenu veľkosti.

Na vloženie týchto pokynov bol použitý nástroj s otvoreným zdrojovým kódom Anamorfér, navrhnutý tak, aby vkladal do obrázkov pokyny na základe algoritmu škálovania cieľa a skrýval ich v jemných vzoroch. Predspracovanie obrazu umelou inteligenciou ich potom nakoniec odhalí.

Po zobrazení výzvy môže model aktivovať integrácie ako Zapier (alebo služby podobné IFTTT) a reťazové akciezhromažďovanie údajov, odosielanie e-mailov alebo prepojenie so službami tretích strán, všetko v zdanlivo normálnom toku.

Stručne povedané, nejde o ojedinelé zlyhanie dodávateľa, ale skôr o štrukturálna slabosť pri spracovaní zmenšených obrázkov v rámci multimodálnych kanálov, ktoré kombinujú text, víziu a nástroje.

Zmierňujúce opatrenia a osvedčené postupy

Výskumníci odporúčajú vždy, keď je to možné, vyhnite sa zmenšovaniu a namiesto toho, rozmery medzného zaťaženiaAk je potrebné škálovanie, odporúča sa zahrnúť ukážka toho, čo model skutočne uvidí, aj v nástrojoch CLI a v API a používať detekčné nástroje, ako napríklad Google SynthID.

Na úrovni návrhu je najspoľahlivejšou obranou bezpečnostné vzorce a systematické kontroly proti vkladaniu správ: žiadny obsah vložený do obrázka by nemal byť schopný iniciovať Volania citlivých nástrojov bez explicitného potvrdenia používateľ.

Na prevádzkovej úrovni je rozumné Vyhnite sa nahrávaniu obrázkov neznámeho pôvodu do služby Gemini. a starostlivo si skontrolujte povolenia udelené asistentovi alebo aplikáciám (prístup k e-mailu, kalendáru, automatizáciám atď.). Tieto bariéry výrazne znižujú potenciálny dopad.

Pre technické tímy sa oplatí auditovať multimodálne predspracovanie, posilniť akčný sandbox a zaznamenávať/upozorňovať na anomálne vzory aktivácia nástroja po analýze obrázkov. Toto dopĺňa ochranu na úrovni produktu.

Všetko nasvedčuje tomu, že čelíme ďalší variant rýchlej injekcie Aplikované na vizuálne kanály. Vďaka preventívnym opatreniam, overovaniu vstupov a povinným potvrdeniam sa zužuje rozsah zneužitia a obmedzuje sa riziko pre používateľov a podniky.

Výskum sa zameriava na slepé miesto v multimodálnych modeloch: Škálovanie obrazu sa môže stať útočným vektorom Ak sa toto pravidlo nezaškrtne, pochopenie spôsobu predspracovania vstupu, obmedzenie povolení a vyžadovanie potvrdení pred kritickými akciami môže znamenať rozdiel medzi obyčajným snímkom a bránou k vašim údajom.

Súvisiaci článok:

Ako zistiť, či obrázok vytvorila umelá inteligencia: nástroje, rozšírenia a triky, ako sa vyhnúť pádu do pasce

Alberto navarro

Som technologický nadšenec, ktorý zo svojich „geekovských“ záujmov urobil povolanie. Strávil som viac ako 10 rokov svojho života používaním špičkových technológií a hraním so všetkými druhmi programov z čistej zvedavosti. Teraz som sa špecializoval na počítačovú techniku ​​a videohry. Je to preto, že už viac ako 5 rokov píšem pre rôzne webové stránky o technológiách a videohrách a vytváram články, ktoré sa snažia poskytnúť vám potrebné informácie v jazyku, ktorý je zrozumiteľný pre každého.

Ak máte nejaké otázky, moje znalosti siahajú od všetkého, čo súvisí s operačným systémom Windows, ako aj Androidom pre mobilné telefóny. A môj záväzok je voči vám, vždy som ochotný venovať pár minút a pomôcť vám vyriešiť akékoľvek otázky, ktoré môžete mať v tomto internetovom svete.