Našli způsob, jak v Gemini propašovat příkazy do fotografie: jednoduché škálování donutí umělou inteligenci je provést.

Skupina výzkumníků zdokumentovala metodu vniknutí schopnou krádež osobních údajů vkládáním skrytých instrukcí do obrázkůKdyž jsou tyto soubory nahrány do multimodálních systémů, jako je Gemini, automatické předzpracování aktivuje příkazy a umělá inteligence je následuje, jako by byly platné.

Objev, o kterém informoval server The Trail of Bits, ovlivňuje produkční prostředí. například Gemini CLI, Vertex AI Studio, Gemini API, Google Assistant nebo GensparkSpolečnost Google uznala, že se jedná o významnou výzvu pro toto odvětví, přičemž zatím neexistují žádné důkazy o zneužití v reálném prostředí. Zranitelnost byla soukromě nahlášena prostřednictvím programu 0Din společnosti Mozilla.

Jak funguje útok škálování obrazu

Klíč spočívá v kroku před analýzou: mnoho kanálů umělé inteligence Automaticky změnit velikost obrázků na standardní rozlišení (224×224 nebo 512×512)V praxi model nevidí původní soubor, ale zmenšenou verzi, a právě tam se odhalí škodlivý obsah.

Útočníci vkládají Multimodální výzvy maskované neviditelnými vodoznaky, často v tmavých oblastech fotografie. Když se spustí algoritmus pro zvýšení rozlišení, tyto vzory se objeví a model je interpretuje jako legitimní instrukce, což může vést k nežádoucím akcím.

V kontrolovaných testech se vědcům podařilo Extrahovat data z Kalendáře Google a odeslat je na externí e-mail bez potvrzení uživatele. Tyto techniky navíc odkazují na rodinu rychlé injekční útoky již prokázáno v agentních nástrojích (jako je Claude Code nebo OpenAI Codex), schopné odhalit informace nebo spustit automatizované akce zneužívání nezabezpečených toků.

Distribuční vektor je široký: obrázek na webové stránce, mem sdílený na WhatsAppu nebo phishingová kampaň podrían Aktivujte výzvu, když požádáte umělou inteligenci o zpracování obsahuJe důležité zdůraznit, že k útoku dochází, když kanál umělé inteligence provádí škálování před analýzou; zobrazení obrázku bez provedení tohoto kroku jej nespustí.

Riziko se proto koncentruje v tocích, kde má umělá inteligence přístup k propojeným nástrojům (např. posílat e-maily, kontrolovat kalendáře nebo používat API): Pokud neexistují žádná ochranná opatření, provede je bez zásahu uživatele.

Zranitelné algoritmy a nástroje

Útok využívá, jak určité algoritmy komprimovat informace s vysokým rozlišením do menšího počtu pixelů při zmenšování: interpolace nejbližšího souseda, bilineární interpolace a bikubická interpolace. Každá z nich vyžaduje jinou techniku ​​vkládání, aby zpráva přežila změnu velikosti.

Pro vložení těchto instrukcí byl použit nástroj s otevřeným zdrojovým kódem Anamorfér, navržený tak, aby do obrázků vkládal pokyny na základě algoritmu pro škálování cíle a skrýval je v jemných vzorech. Předzpracování obrazu umělou inteligencí je pak nakonec odhalí.

Jakmile je zobrazena výzva, model může aktivovat integrace jako Zapier (nebo služby podobné IFTTT) a řetězové akceshromažďování dat, odesílání e-mailů nebo propojení se službami třetích stran, vše v rámci zdánlivě normálního toku.

Stručně řečeno, nejedná se o ojedinělé selhání dodavatele, ale spíše o strukturální slabina při zpracování zmenšených obrázků v rámci multimodálních kanálů, které kombinují text, vizuální prvky a nástroje.

Zmírňující opatření a osvědčené postupy

Výzkumníci doporučují vyhněte se zmenšování, kdykoli je to možné a místo toho, rozměry mezního zatíženíPokud je nutné škálování, je vhodné začlenit náhled toho, co model skutečně uvidí, také v nástrojích CLI a v API a používat detekční nástroje, jako například Google SynthID.

Na úrovni návrhu je nejspolehlivější obranou bezpečnostní vzorce a systematické kontroly proti vkládání zpráv: žádný obsah vložený do obrázku by neměl být schopen iniciovat Volání citlivých nástrojů bez explicitního potvrzení uživatele.

Na provozní úrovni je rozumné Nenahrávejte do Gemini obrázky neznámého původu. a pečlivě zkontrolujte oprávnění udělená asistentovi nebo aplikacím (přístup k e-mailu, kalendáři, automatizacím atd.). Tyto bariéry výrazně snižují potenciální dopad.

Pro technické týmy se vyplatí auditovat multimodální předzpracování, posílit akční sandbox a záznam/upozornění na anomální vzorce aktivace nástroje po analýze obrázků. To doplňuje ochranu na úrovni produktu.

Všechno nasvědčuje tomu, že čelíme další varianta rychlé injekce Aplikováno na vizuální kanály. Díky preventivním opatřením, ověřování vstupů a povinným potvrzením se zužuje prostor pro zneužití a omezuje se riziko pro uživatele i firmy.

Výzkum se zaměřuje na slepé místo v multimodálních modelech: Zvětšování obrazu se může stát útočným vektorem Pokud se toto políčko nezaškrtne, pochopení toho, jak se vstup předzpracovává, omezování oprávnění a vyžadování potvrzení před kritickými akcemi, může znamenat rozdíl mezi pouhým snímkem a bránou k vašim datům.

Související článek:

Jak zjistit, zda byl obrázek vytvořen umělou inteligencí: nástroje, rozšíření a triky, jak se vyhnout pasti

Alberto navarro

Jsem technologický nadšenec, který ze svých „geekovských“ zájmů udělal profesi. Strávil jsem více než 10 let svého života používáním nejmodernějších technologií a vrtáním se všemi druhy programů z čisté zvědavosti. Nyní se specializuji na počítačovou techniku ​​a videohry. Je to proto, že již více než 5 let píšu pro různé webové stránky o technologiích a videohrách a tvořím články, které se vám snaží poskytnout informace, které potřebujete, v jazyce, který je srozumitelný všem.

Pokud máte nějaké dotazy, mé znalosti sahají od všeho, co se týká operačního systému Windows a také Androidu pro mobilní telefony. A můj závazek je vůči vám, jsem vždy ochoten strávit pár minut a pomoci vám vyřešit jakékoli otázky, které můžete mít v tomto internetovém světě.