- Ang usa ka pag-atake nagtago sa dili makita nga mga pag-aghat sa multimodal sa mga imahe nga, kung gi-scale sa Gemini, gipatuman nga wala’y pasidaan.
- Gigamit sa vector ang preprocessing sa imahe (224x224/512x512) ug nagpalihok sa mga himan sama sa Zapier aron ma-exfiltrate ang datos.
- Ang labing duol nga silingan, bilinear, ug bicubic nga mga algorithm mahuyang; ang Anamorpher nga himan nagtugot kanila nga ma-injected.
- Gitambagan sa mga eksperto nga likayan ang pag-scale down, pag-preview sa input, ug pagkinahanglan og kumpirmasyon sa dili pa maghimo og mga sensitibo nga aksyon.
Usa ka grupo sa mga tigdukiduki nakadokumento sa usa ka paagi sa pagsulod nga makahimo pagpangawat sa personal nga datos pinaagi sa pag-inject sa tinago nga mga instruksyon ngadto sa mga hulagwayKung ang mga file gi-upload sa mga sistema nga multimodal sama sa Gemini, ang awtomatikong preprocessing nagpalihok sa mga mando, ug ang AI nagsunod kanila ingon nga kini balido.
Ang pagkadiskobre, nga gitaho sa The Trail of Bits, nakaapekto sa mga palibot sa produksiyon. sama sa Gemini CLI, Vertex AI Studio, Gemini API, Google Assistant o GensparkGiila sa Google nga kini usa ka hinungdanon nga hagit alang sa industriya, nga wala’y ebidensya sa pagpahimulos sa tinuod nga kalibutan nga mga palibot hangtod karon. Ang pagkahuyang pribado nga gitaho pinaagi sa programa sa 0Din sa Mozilla.
Giunsa ang pag-atake sa pag-scale sa imahe molihok
Ang yawe anaa sa pre-analysis nga lakang: daghang AI pipelines Awtomatikong i-resize ang mga hulagway ngadto sa standard nga mga resolusyon (224×224 o 512×512)Sa praktis, ang modelo wala makakita sa orihinal nga file, apan sa usa ka scaled-down nga bersyon, ug didto ang malisyosong sulod gipadayag.
Gisulod sa mga tig-atake Ang multimodal nga mga pag-aghat nga gitago sa dili makita nga mga watermark, kasagaran sa ngitngit nga mga dapit sa litrato. Sa diha nga ang upscaling algorithm modagan, kini nga mga sumbanan mitungha ug ang modelo naghubad kanila ingon nga lehitimong mga panudlo, nga mahimong mosangpot sa dili gusto nga mga aksyon.
Sa kontrolado nga mga pagsulay, ang mga tigdukiduki nakahimo sa Kuhaa ang data gikan sa Google Calendar ug ipadala kini sa usa ka eksternal nga email walay kumpirmasyon sa user. Dugang pa, kini nga mga teknik nagsumpay sa pamilya sa paspas nga pag-atake sa indeyksiyon napakita na sa ahente nga mga himan (sama sa Claude Code o OpenAI Codex), makahimo sa pag-exfiltrate sa impormasyon o pag-trigger sa mga aksyon sa automation pagpahimulos sa walay kasegurohan nga mga agos.
Ang distribution vector kay lapad: usa ka imahe sa usa ka website, usa ka meme nga gipaambit sa WhatsApp o usa ka kampanya sa phishing mahimo I-aktibo ang prompt kung gihangyo ang AI nga iproseso ang suludImportante nga hatagan og gibug-aton nga ang pag-atake mahitabo kung ang AI pipeline naghimo sa scaling sa wala pa ang pagtuki; Ang pagtan-aw sa imahe nga wala moagi sa kana nga lakang dili mag-trigger niini.
Busa, ang risgo gikonsentrar sa mga agos diin ang AI adunay access sa konektado nga mga himan (pananglitan, ipadala ang mga email, susihon ang mga kalendaryo o gamita ang mga API): Kung walay mga panalipod, ipatuman kini nga walay interbensyon sa tiggamit.
Ang mga mahuyang nga mga algorithm ug mga himan nga nalangkit
Gipahimuslan sa pag-atake kung giunsa ang pipila nga mga algorithm i-compress ang taas nga resolusyon nga impormasyon ngadto sa mas gamay nga pixel sa pagpaubos: labing duol nga silingan nga interpolation, bilinear interpolation, ug bicubic interpolation. Ang matag usa nanginahanglan usa ka lahi nga pamaagi sa pag-embed aron mabuhi ang mensahe sa pagbag-o sa gidak-on.
Aron ma-embed kini nga mga panudlo gigamit ang open source tool Anamorpher, gidesinyo sa pag-inject sa mga prompt ngadto sa mga hulagway base sa target scaling algorithm ug itago kini sa maliputon nga mga sumbanan. Ang preprocessing sa imahe sa AI unya sa katapusan nagpadayag niini.
Sa higayon nga ang prompt gipadayag, ang modelo mahimo i-aktibo ang mga panagsama sama sa Zapier (o mga serbisyo nga susama sa IFTTT) ug kadena nga mga aksyon: pagkolekta sa datos, pagpadala sa mga email o koneksyon sa mga serbisyo sa ikatulo nga partido, tanan sulod sa daw normal nga dagan.
Sa laktud, dili kini usa ka nahilit nga kapakyasan sa usa ka supplier, apan usa ka kahuyang sa istruktura sa pagdumala sa mga gi-scale nga mga imahe sulod sa multimodal pipelines nga naghiusa sa teksto, panan-awon, ug mga himan.
Mga lakang sa pagpaminus ug maayong gawi
Girekomenda sa mga tigdukiduki likayi ang pagpaubos kung mahimo ug hinoon, limitahan ang mga sukod sa load. Kung gikinahanglan ang scaling, gitambagan nga ilakip ang a preview kon unsa ang tinuod nga makita sa modelo, usab sa mga himan sa CLI ug sa API, ug gamita ang mga himan sa pag-ila sama sa Google SynthID.
Sa lebel sa disenyo, ang labing lig-on nga depensa mao ang pinaagi mga sumbanan sa seguridad ug sistematikong pagkontrol batok sa pag-injection sa mensahe: walay sulod nga nasulod sa usa ka hulagway ang makasugod Mga tawag sa sensitibo nga himan nga walay klaro nga kumpirmasyon sa mogamit.
Sa lebel sa operasyon, kini mabinantayon Likayi ang pag-upload og mga hulagway sa wala mailhi nga gigikanan sa Gemini ug pagrepaso pag-ayo sa mga permiso nga gihatag sa katabang o mga app (pag-access sa email, kalendaryo, mga automation, ug uban pa). Kini nga mga babag makapakunhod pag-ayo sa posibleng epekto.
Alang sa mga teknikal nga grupo, angay nga i-audit ang multimodal preprocessing, pagpagahi sa aksyon nga sandbox, ug rekord/alerto sa anomalosong mga pattern pagpaaktibo sa himan pagkahuman sa pag-analisar sa mga imahe. Nagdugang kini sa depensa sa lebel sa produkto.
Ang tanan nagpunting sa kamatuoran nga atong giatubang laing variant sa paspas nga indeyksiyon Gipadapat sa mga visual channel. Uban sa preventive measures, input verification, ug mandatory confirmations, ang margin sa pagpahimulos gipakunhod ug ang risgo limitado alang sa mga tiggamit ug negosyo.
Ang panukiduki nagpunting sa usa ka blind spot sa multimodal nga mga modelo: Ang pag-scale sa imahe mahimong usa ka vector sa pag-atake Kung dili mabantayan, ang pagsabut kung giunsa ang pag-input giproseso nang daan, gilimitahan ang mga pagtugot, ug nanginahanglan mga kumpirmasyon sa wala pa ang mga kritikal nga aksyon makahimo sa kalainan tali sa usa ka snapshot ug ang agianan sa imong data.
Usa ako ka mahiligon sa teknolohiya nga naghimo sa iyang "geek" nga interes nga usa ka propesyon. Gigugol nako ang sobra sa 10 ka tuig sa akong kinabuhi gamit ang labing bag-ong teknolohiya ug pag-usisa sa tanan nga mga klase sa mga programa tungod sa putli nga pagkamausisaon. Karon espesyalista na ako sa teknolohiya sa kompyuter ug mga dula sa video. Kini tungod kay sa sobra sa 5 ka tuig nagsulat ako alang sa lainlaing mga website sa teknolohiya ug mga dula sa video, nagmugna og mga artikulo nga nagtinguha sa paghatag kanimo sa impormasyon nga imong gikinahanglan sa usa ka pinulongan nga masabtan sa tanan.
Kung naa kay mga pangutana, ang akong kahibalo gikan sa tanan nga may kalabotan sa operating system sa Windows ingon man sa Android para sa mga mobile phone. Ug ang akong pasalig kanimo, andam ako kanunay nga mogahin og pipila ka minuto ug tabangan ka nga masulbad ang bisan unsang mga pangutana nga mahimo nimo sa niining kalibutan sa internet.