- Itinatago ng isang pag-atake ang mga hindi nakikitang multimodal na mga senyas sa mga larawan na, kapag ini-scale sa Gemini, ay isinasagawa nang walang babala.
- Ginagamit ng vector ang preprocessing ng imahe (224x224/512x512) at nagti-trigger ng mga tool tulad ng Zapier na mag-exfiltrate ng data.
- Ang pinakamalapit na kapitbahay, bilinear, at bicubic algorithm ay mahina; ang tool na Anamorpher ay nagpapahintulot sa kanila na ma-inject.
- Pinapayuhan ng mga eksperto na iwasan ang pag-scale pababa, pag-preview ng input, at pag-aatas ng kumpirmasyon bago magsagawa ng mga sensitibong pagkilos.
Ang isang pangkat ng mga mananaliksik ay nakadokumento ng isang paraan ng panghihimasok na may kakayahang pagnanakaw ng personal na data sa pamamagitan ng pag-iniksyon ng mga nakatagong tagubilin sa mga larawanKapag na-upload ang mga file na iyon sa mga multimodal system tulad ng Gemini, ina-activate ng awtomatikong preprocessing ang mga command, at sinusundan sila ng AI na parang wasto ang mga ito.
Ang pagtuklas, na iniulat ng The Trail of Bits, ay nakakaapekto sa mga kapaligiran ng produksyon. gaya ng Gemini CLI, Vertex AI Studio, Gemini API, Google Assistant o GensparkKinikilala ng Google na ito ay isang malaking hamon para sa industriya, na walang katibayan ng pagsasamantala sa mga kapaligiran sa totoong mundo sa ngayon. Ang kahinaan ay pribadong iniulat sa pamamagitan ng 0Din program ng Mozilla.
Paano gumagana ang pag-atake sa pag-scale ng imahe
Ang susi ay nasa hakbang bago ang pagsusuri: maraming AI pipeline Awtomatikong i-resize ang mga larawan sa mga karaniwang resolution (224×224 o 512×512)Sa pagsasagawa, hindi nakikita ng modelo ang orihinal na file, sa halip ay isang pinaliit na bersyon, at doon nabubunyag ang nakakahamak na nilalaman.
Pagsingit ng mga attacker Multimodal prompts camouflaged sa pamamagitan ng invisible watermarks, madalas sa madilim na bahagi ng larawan. Kapag tumatakbo ang mga upscaling algorithm, lumalabas ang mga pattern na ito at binibigyang-kahulugan ng modelo ang mga ito bilang mga lehitimong tagubilin, na maaaring humantong sa mga hindi gustong pagkilos.
Sa mga kinokontrol na pagsusulit, nagawa ng mga mananaliksik na I-extract ang data mula sa Google Calendar at ipadala ito sa isang external na email nang walang kumpirmasyon ng gumagamit. Bilang karagdagan, ang mga pamamaraan na ito ay nag-uugnay sa pamilya ng mabilis na pag-atake ng iniksyon naipakita na sa mga ahenteng tool (gaya ng Claude Code o OpenAI Codex), na may kakayahang i-exfiltrate ang impormasyon o mag-trigger ng mga pagkilos sa automation pagsasamantala sa mga hindi secure na daloy.
Malawak ang vector ng pamamahagi: isang imahe sa isang website, isang meme na ibinahagi sa WhatsApp o a kampanya sa phishing maaari I-activate ang prompt kapag hinihiling sa AI na iproseso ang nilalamanMahalagang bigyang-diin na ang pag-atake ay magkakatotoo kapag ang AI pipeline ay nagsagawa ng scaling bago ang pagsusuri; ang pagtingin sa larawan nang hindi dumadaan sa hakbang na iyon ay hindi nagti-trigger nito.
Samakatuwid, ang panganib ay nakatuon sa mga daloy kung saan ang AI ay may access sa mga konektadong tool (hal., magpadala ng mga email, suriin ang mga kalendaryo o gumamit ng mga API): Kung walang mga pananggalang, isasagawa nito ang mga ito nang walang interbensyon ng gumagamit.
Mga bulnerableng algorithm at tool na kasangkot
Sinasamantala ng pag-atake kung paano ang ilang mga algorithm i-compress ang high-resolution na impormasyon sa mas kaunting pixel kapag binabawasan ang laki: pinakamalapit na interpolation ng kapitbahay, interpolation ng bilinear, at interpolation ng bicubic. Ang bawat isa ay nangangailangan ng ibang diskarte sa pag-embed para mabuhay ang mensahe sa pagbabago ng laki.
Upang i-embed ang mga tagubiling ito, ginamit ang open source tool Anamorpher, na idinisenyo upang mag-inject ng mga prompt sa mga larawan batay sa target na scaling algorithm at itago ang mga ito sa mga banayad na pattern. Ang preprocessing ng imahe ng AI pagkatapos ay sa huli ay nagpapakita ng mga ito.
Kapag naihayag na ang prompt, magagawa ng modelo i-activate ang mga pagsasama tulad ng Zapier (o mga serbisyong katulad ng IFTTT) at chain actions: pangongolekta ng data, pagpapadala ng mga email o koneksyon sa mga serbisyo ng third-party, lahat sa loob ng tila normal na daloy.
Sa madaling salita, ito ay hindi isang nakahiwalay na kabiguan ng isang supplier, ngunit sa halip ay isang kahinaan sa istruktura sa paghawak ng mga naka-scale na imahe sa loob ng mga multimodal na pipeline na pinagsasama ang text, vision, at mga tool.
Mga hakbang sa pagpapagaan at mabuting kasanayan
Inirerekomenda ng mga mananaliksik iwasan ang pagbabawas hangga't maaari at sa halip, limitahan ang mga sukat ng pagkarga. Kapag kailangan ang scaling, ipinapayong isama ang a silipin kung ano talaga ang makikita ng modelo, gayundin sa mga tool ng CLI at sa API, at gumamit ng mga tool sa pagtuklas tulad ng Google SynthID.
Sa antas ng disenyo, ang pinakamatibay na depensa ay sa pamamagitan mga pattern ng seguridad at sistematikong kontrol laban sa pag-iniksyon ng mensahe: walang nilalamang naka-embed sa isang imahe ang dapat makapagsimula Mga tawag sa mga sensitibong tool nang walang tahasang kumpirmasyon gumagamit
Sa antas ng pagpapatakbo, ito ay maingat Iwasang mag-upload ng mga larawan ng hindi kilalang pinanggalingan sa Gemini at maingat na suriin ang mga pahintulot na ibinigay sa assistant o mga app (access sa email, kalendaryo, mga automation, atbp.). Ang mga hadlang na ito ay makabuluhang binabawasan ang potensyal na epekto.
Para sa mga teknikal na koponan, ito ay nagkakahalaga ng pag-audit ng multimodal preprocessing, pagpapatigas ng action sandbox, at record/alerto sa mga maanomalyang pattern pag-activate ng tool pagkatapos suriin ang mga imahe. Ito ay umaakma sa pagtatanggol sa antas ng produkto.
Ang lahat ay tumuturo sa katotohanang kinakaharap natin isa pang variant ng mabilis na iniksyon Inilapat sa mga visual na channel. Sa pamamagitan ng mga hakbang sa pag-iwas, pag-verify ng input, at mga mandatoryong kumpirmasyon, ang margin ng pagsasamantala ay lumiliit at ang panganib ay limitado para sa mga user at negosyo.
Nakatuon ang pananaliksik sa isang blind spot sa mga multimodal na modelo: Maaaring maging attack vector ang pag-scale ng larawan Kung hindi ma-check, ang pag-unawa kung paano na-preprocess ang input, nililimitahan ang mga pahintulot, at nangangailangan ng mga kumpirmasyon bago ang mga kritikal na aksyon ay maaaring gumawa ng pagkakaiba sa pagitan ng isang snapshot lamang at ang gateway sa iyong data.
Isa akong mahilig sa teknolohiya na ginawang propesyon ang kanyang mga "geek" na interes. Ako ay gumugol ng higit sa 10 taon ng aking buhay sa paggamit ng makabagong teknolohiya at pag-iisip sa lahat ng uri ng mga programa dahil sa purong kuryusidad. Ngayon ay nagdadalubhasa na ako sa teknolohiya ng kompyuter at mga video game. Ito ay dahil sa higit sa 5 taon na ako ay sumusulat para sa iba't ibang mga website sa teknolohiya at mga video game, na lumilikha ng mga artikulo na naglalayong ibigay sa iyo ang impormasyong kailangan mo sa isang wika na naiintindihan ng lahat.
Kung mayroon kang anumang mga katanungan, ang aking kaalaman ay mula sa lahat ng nauugnay sa Windows operating system pati na rin ang Android para sa mga mobile phone. At ang aking pangako ay sa iyo, lagi akong handang gumugol ng ilang minuto at tulungan kang lutasin ang anumang mga katanungan na maaaring mayroon ka sa mundo ng internet na ito.