- Serangan ndhelikake pituduh multimodal sing ora katon ing gambar sing, nalika skala ing Gemini, dieksekusi tanpa peringatan.
- Vektor nggunakake preprocessing gambar (224x224/512x512) lan micu alat kaya Zapier kanggo exfiltrate data.
- Algoritma tetanggan sing paling cedhak, bilinear, lan bikubik rentan; alat Anamorpher ngidini kanggo nyuntikaken.
- Para ahli menehi saran supaya ora ngurangi ukuran, pratinjau input, lan mbutuhake konfirmasi sadurunge nindakake tindakan sensitif.
Klompok peneliti wis nyathet cara intrusi sing bisa ditindakake nyolong data pribadhi kanthi nyuntikake instruksi sing didhelikake menyang gambarNalika file kasebut diunggah menyang sistem multimodal kaya Gemini, preprocessing otomatis ngaktifake printah kasebut, lan AI ngetutake kaya-kaya bener.
Panemuan kasebut, dilapurake dening The Trail of Bits, mengaruhi lingkungan produksi. kayata Gemini CLI, Vertex AI Studio, Gemini API, Google Assistant utawa GensparkGoogle wis ngakoni yen iki minangka tantangan sing signifikan kanggo industri, tanpa bukti eksploitasi ing lingkungan nyata nganti saiki. Kerentanan kasebut dilaporake kanthi pribadi liwat program 0Din Mozilla.
Cara kerja serangan skala gambar
Kuncine ana ing langkah pra-analisis: akeh pipa AI Ngowahi ukuran gambar kanthi otomatis dadi resolusi standar (224×224 utawa 512×512)Ing laku, model ora ndeleng file asli, nanging versi scaled-mudhun, lan ing kono isi angkoro dicethakaké.
Sisipan penyerang Pandhuan multimodal disamarake dening tandha banyu sing ora katon, asring ing area peteng ing foto. Nalika algoritma upscaling mlaku, pola kasebut muncul lan model kasebut nerangake minangka instruksi sing sah, sing bisa nyebabake tumindak sing ora dikarepake.
Ing tes sing dikontrol, peneliti bisa Ekstrak data saka Google Calendar lan kirim menyang email eksternal tanpa konfirmasi pangguna. Kajaba iku, Techniques iki pranala menyang kulawarga saka serangan injeksi cepet wis ditampilake ing alat agen (kayata Claude Code utawa OpenAI Codex), bisa informasi exfiltrate utawa micu tumindak otomatis ngeksploitasi arus sing ora aman.
Vektor distribusi jembar: gambar ing situs web, meme sing dituduhake ing WhatsApp utawa a kampanye phishing bisa Aktifake pituduh nalika njaluk AI ngolah konten kasebutPenting kanggo nandheske manawa serangan kasebut kedadeyan nalika pipa AI nindakake skala sadurunge analisa; ndeleng gambar tanpa ngliwati langkah kasebut ora bakal nyebabake.
Mulane, risiko dikonsentrasi ing aliran ing ngendi AI nduweni akses menyang piranti sing disambungake (contone, ngirim email, mriksa tanggalan utawa nggunakake API): Yen ora ana pengamanan, bakal ditindakake tanpa intervensi pangguna.
Algoritma lan alat sing rawan melu
Serangan ngeksploitasi carane algoritma tartamtu kompres informasi resolusi dhuwur dadi luwih sithik piksel nalika downsizing: interpolasi tetanggan paling cedhak, interpolasi bilinear, lan interpolasi bikubik. Saben mbutuhake teknik semat sing beda supaya pesen bisa urip kanthi ngowahi ukuran.
Kanggo nampilake instruksi kasebut, alat open source wis digunakake Anamorpher, dirancang kanggo nyuntikake pituduh menyang gambar adhedhasar algoritma skala target lan ndhelikake ing pola subtle. Preprocessing gambar AI banjur pungkasane mbukak.
Sawise pituduh dicethakaké, model bisa ngaktifake integrasi kaya Zapier (utawa layanan sing padha karo IFTTT) lan tumindak chain: koleksi data, ngirim email utawa sambungan menyang layanan pihak katelu, kabeh ing aliran ketoke normal.
Ing cendhak, iki ora Gagal diisolasi saka supplier, nanging rodo a kekirangan struktural ing nangani gambar skala ing saluran pipa multimodal sing nggabungake teks, visi, lan alat.
Langkah-langkah mitigasi lan praktik sing apik
Peneliti nyaranake supaya downscaling sabisa lan tinimbang, watesan ukuran beban. Nalika njongko perlu, iku saranake kanggo incorporate a pratinjau apa sing bakal dideleng model kasebut, uga ing alat CLI lan ing API, lan nggunakake alat deteksi kayata Google SynthID.
Ing tingkat desain, pertahanan paling padhet yaiku liwat pola keamanan lan kontrol sistematis marang injeksi pesen: ora ana isi sing ditempelake ing gambar kudu bisa miwiti Telpon menyang piranti sensitif tanpa konfirmasi eksplisit pangguna
Ing tingkat operasional, iku wicaksana Aja ngunggah gambar sing ora dingerteni ing Gemini lan mriksa kanthi teliti ijin sing diwenehake marang asisten utawa aplikasi (akses menyang email, tanggalan, otomatisasi, lsp). Rintangan kasebut kanthi signifikan nyuda dampak potensial.
Kanggo tim teknis, kudu mriksa preprocessing multimodal, hardening kothak wedhi aksi, lan rekaman / tandha ing pola anomali aktifitas alat sawise nganalisa gambar. Iki nglengkapi pertahanan tingkat produk.
Kabeh nuduhake kasunyatan sing kita adhepi varian liyane saka injeksi cepet Ditrapake menyang saluran visual. Kanthi langkah-langkah pencegahan, verifikasi input, lan konfirmasi wajib, wates eksploitasi dicincang lan risiko diwatesi kanggo pangguna lan bisnis.
Riset fokus ing titik wuta ing model multimodal: Skala gambar bisa dadi vektor serangan Yen ora dicenthang, ngerti carane input wis diproses sadurunge, matesi ijin, lan mbutuhake konfirmasi sadurunge tumindak kritis bisa mbedakake antarane snapshot mung lan gateway menyang data sampeyan.
Aku minangka penggemar teknologi sing wis ngowahi minat "geek" dadi profesi. Aku wis ngentekake luwih saka 10 taun uripku nggunakake teknologi sing canggih lan ngupayakake kabeh jinis program amarga penasaran. Saiki aku duwe spesialisasi ing teknologi komputer lan game video. Iki amarga luwih saka 5 taun aku wis nulis kanggo macem-macem situs web babagan teknologi lan video game, nggawe artikel sing ngupaya menehi informasi sing dibutuhake ing basa sing bisa dingerteni kabeh wong.
Yen sampeyan duwe pitakon, kawruhku kalebu kabeh sing ana gandhengane karo sistem operasi Windows uga Android kanggo ponsel. Lan prasetyaku kanggo sampeyan, aku tansah gelem ngentekake sawetara menit lan mbantu sampeyan ngrampungake pitakonan sing sampeyan duwe ing jagad internet iki.