- Yon atak kache envit multimodal envizib nan imaj ki, lè yo mete yo sou Gemini, egzekite san avètisman.
- Vektè a itilize pretretman imaj (224x224/512x512) epi li deklanche zouti tankou Zapier pou èkfiltre done yo.
- Algorit vwazen ki pi pre a, bilinè, ak bikibik yo vilnerab; zouti Anamorpher la pèmèt yo enjekte yo.
- Ekspè yo konseye pou evite diminye kantite lajan, gade davans enfòmasyon yo bay la, epi mande konfimasyon anvan ou fè aksyon sansib.
Yon gwoup chèchè dokimante yon metòd entrizyon ki kapab vòlè done pèsonèl lè w mete enstriksyon kache nan imajLè yo telechaje fichye sa yo nan sistèm multimodal tankou Gemini, pretretman otomatik la aktive kòmandman yo, epi IA a swiv yo kòm si yo te valab.
Dekouvèt la, ke The Trail of Bits rapòte, afekte anviwònman pwodiksyon yo. tankou Gemini CLI, Vertex AI Studio, Gemini API, Google Assistant oubyen GensparkGoogle rekonèt ke sa a se yon gwo defi pou endistri a, san okenn prèv eksplwatasyon nan anviwònman reyèl jiskaprezan. Yo te rapòte vilnerabilite a an prive atravè pwogram 0Din Mozilla a.
Kijan atak rediksyon imaj la fonksyone
Kle a se nan etap pre-analiz la: anpil tiyo IA Chanje gwosè imaj yo otomatikman nan rezolisyon estanda (224 × 224 oswa 512 × 512)An pratik, modèl la pa wè fichye orijinal la, men pito yon vèsyon ki pi piti, e se la kontni move a revele.
Atakan yo mete Envit miltimodal kamoufle pa filigran envizib, souvan nan zòn nwa nan foto a. Lè algoritm amelyorasyon yo ap fonksyone, modèl sa yo parèt epi modèl la entèprete yo kòm enstriksyon lejitim, sa ki ka mennen nan aksyon endezirab.
Nan tès kontwole yo, chèchè yo te reyisi Ekstrè done nan Google Calendar epi voye yo nan yon imèl ekstèn san konfimasyon itilizatè. Anplis de sa, teknik sa yo lye ak fanmi an atak enjeksyon rapid deja demontre nan zouti ajans (tankou Claude Code oubyen OpenAI Codex), ki kapab retire enfòmasyon oswa deklanche aksyon automatisation eksplwate koule ki pa an sekirite.
Vektè distribisyon an laj: yon imaj sou yon sit entènèt, yon mem pataje sou WhatsApp oubyen yon kanpay èskrokri te kapab Aktive èd memwa a lè w ap mande IA a pou trete kontni an.Li enpòtan pou mete aksan sou ke atak la konkretize lè tiyo IA a fè rediksyon an anvan analiz la; gade imaj la san w pa pase nan etap sa a pa deklanche li.
Se poutèt sa, risk la konsantre nan koule kote IA gen aksè a zouti konekte (pa egzanp, voye imèl, tcheke kalandriye oswa itilize API yo): Si pa gen okenn pwoteksyon, li pral egzekite yo san entèvansyon itilizatè a.
Algorit ak zouti vilnerab ki enplike
Atak la eksplwate kijan sèten algoritm konprese enfòmasyon ki gen gwo rezolisyon an mwens pixel lè w ap diminye gwosè a: entèpolasyon vwazen ki pi pre a, entèpolasyon bilineyè, ak entèpolasyon bikibik. Chak bezwen yon teknik entegre diferan pou mesaj la ka siviv apre chanjman gwosè a.
Pou entegre enstriksyon sa yo, yo te itilize zouti sous ouvè a. Anamòfè, ki fèt pou enjekte envit nan imaj ki baze sou algorithm dimensionnement sib la epi kache yo nan modèl sibtil. Pretretman imaj IA a finalman revele yo.
Yon fwa yo revele envit la, modèl la kapab aktive entegrasyon tankou Zapier (oswa sèvis ki sanble ak IFTTT) ak aksyon chènkoleksyon done, voye imèl oswa koneksyon ak sèvis twazyèm pati, tout bagay nan yon koule ki sanble nòmal.
An brèf, sa a se pa yon echèk izole nan men yon founisè, men pito yon feblès estriktirèl nan manyen imaj echèl nan tiyo multimodal ki konbine tèks, vizyon, ak zouti.
Mezi mitigasyon ak bon pratik
Chèchè yo rekòmande evite diminye kantite lajan chak fwa sa posib epi olye de sa, dimansyon chaj limitLè li nesesè pou mete yon dekale, li rekòmande pou mete yon yon aperçu de sa modèl la pral wè tout bon vre, tou nan zouti CLI ak nan API a, epi sèvi ak zouti deteksyon tankou Google SynthID.
Nan nivo konsepsyon an, defans ki pi solid la se atravè modèl sekirite ak kontwòl sistematik kont enjeksyon mesaj: okenn kontni entegre nan yon imaj pa ta dwe kapab inisye Apèl pou zouti sansib san konfimasyon eksplisit itilizatè.
Sou nivo operasyonèl la, li pridan Evite telechaje imaj ki gen orijin enkoni sou Gemini. epi revize avèk atansyon pèmisyon yo bay asistan an oswa aplikasyon yo (aksè a imèl, kalandriye, automatisation, elatriye). Baryè sa yo diminye enpak potansyèl la anpil.
Pou ekip teknik yo, li vo lapenn fè odit sou pretretman multimodal la, ranfòse sandbox aksyon an, epi anrejistre/alèt sou modèl anomali aktivasyon zouti apre analiz imaj yo. Sa konplete defans nan nivo pwodwi a.
Tout bagay montre nou ap fè fas ak yon lòt varyant enjeksyon rapid Aplike nan chanèl vizyèl yo. Avèk mezi prevantif, verifikasyon enfòmasyon antre, ak konfimasyon obligatwa, maj eksplwatasyon an vin pi redui epi risk la limite pou itilizatè yo ak biznis yo.
Rechèch la konsantre sou yon pwen avèg nan modèl multimodal yo: Eskalad imaj la ka vin tounen yon vektè atak Si ou pa verifye sa, konprann kijan yo trete enfòmasyon yo davans, limite otorizasyon yo, epi mande konfimasyon anvan aksyon kritik yo ka fè diferans ant yon senp foto ak yon pòtay pou aksè nan done ou yo.
Mwen se yon antouzyast teknoloji ki te vire enterè "jik" li nan yon pwofesyon. Mwen te pase plis pase 10 ane nan lavi mwen itilize teknoloji dènye kri ak brikolaj ak tout kalite pwogram nan pi kiryozite. Koulye a, mwen te espesyalize nan teknoloji òdinatè ak jwèt videyo. Sa a se paske depi plis pase 5 ane mwen ap ekri pou divès sit entènèt sou teknoloji ak jwèt videyo, kreye atik ki ap chèche ba w enfòmasyon ou bezwen an nan yon lang ke tout moun konprann.
Si w gen nenpòt kesyon, konesans mwen varye ant tout bagay ki gen rapò ak sistèm operasyon Windows la ak Android pou telefòn mobil yo. Ak angajman mwen se avè ou, mwen toujou dispoze pase kèk minit epi ede ou rezoud nenpòt kesyon ou ka genyen nan mond entènèt sa a.