- Rünnak peidab piltidele nähtamatuid multimodaalseid käske, mis Gemini peal skaleerides käivituvad hoiatuseta.
- Vektor kasutab piltide eeltöötlust (224x224/512x512) ja käivitab andmete filtreerimiseks tööriistu nagu Zapier.
- Lähima naabri, bilineaarsed ja bikuubilised algoritmid on haavatavad; Anamorpheri tööriist võimaldab neid süstida.
- Eksperdid soovitavad vältida skaleerimist, sisendi eelvaadet ja kinnituse küsimist enne tundlike toimingute tegemist.
Teadlaste rühm on dokumenteerinud sissetungimismeetodi, mis on võimeline isikuandmete varastamine piltidesse peidetud juhiste sisestamise teelKui need failid laaditakse üles multimodaalsetesse süsteemidesse nagu Gemini, aktiveerib automaatne eeltöötlus käsud ja tehisintellekt järgib neid nii, nagu oleksid need kehtivad.
Avastus, millest teatas The Trail of Bits, mõjutab tootmiskeskkondi. näiteks Gemini CLI, Vertex AI Studio, Gemini API, Google Assistant või GensparkGoogle on tunnistanud, et see on tööstusele märkimisväärne väljakutse, kuna seni pole reaalsetes keskkondades ärakasutamise kohta tõendeid. Haavatavusest teatati eraviisiliselt Mozilla 0Din programmi kaudu.
Kuidas pildi skaleerimise rünnak töötab
Võti peitub eelanalüüsi etapis: paljud tehisintellekti torujuhtmed Piltide automaatne suuruse muutmine standardresolutsioonile (224 × 224 või 512 × 512)Praktikas ei näe mudel originaalfaili, vaid pigem vähendatud versiooni ja just seal pahatahtlik sisu ilmnebki.
Ründajad sisestavad Nähtamatute vesimärkidega varjatud multimodaalsed juhised, sageli foto tumedates piirkondades. Kui ülesskaleerimise algoritmid töötavad, tekivad need mustrid ja mudel tõlgendab neid õigustatud juhistena, mis võivad viia soovimatute toiminguteni.
Kontrollitud testides õnnestus teadlastel Andmete ekstraheerimine Google'i kalendrist ja nende saatmine välisele e-posti aadressile ilma kasutaja kinnituseta. Lisaks lingivad need tehnikad perekonnaga kiired süstimisrünnakud juba demonstreeritud agentsetes tööriistades (näiteks Claude Code või OpenAI Codex), mis on võimelised filtreerimisteabe väljavõtmine või automatiseerimistoimingute käivitamine ebaturvaliste voogude ärakasutamine.
Jaotusvektor on lai: pilt veebisaidil, WhatsAppis jagatud meem või andmepüügikampaania võiks Aktiveeri viip, kui tehisintellektilt küsitakse sisu töötlemistOluline on rõhutada, et rünnak toimub siis, kui tehisintellekti torujuhe teostab skaleerimise enne analüüsi; pildi vaatamine ilma selle sammu läbimata seda ei käivita.
Seega on risk koondunud voogudesse, kus tehisintellektil on juurdepääs ühendatud tööriistadele (nt saata e-kirju, vaadata kalendreid või kasutada API-sid): Kui kaitsemeetmeid pole, käivitatakse need ilma kasutaja sekkumiseta.
Haavatavad algoritmid ja tööriistad
Rünnak kasutab ära seda, kuidas teatud algoritmid tihendada kõrge eraldusvõimega teavet vähemateks piksliteks suuruse vähendamisel: lähima naabri interpoleerimine, bilineaarne interpoleerimine ja bikuubiline interpoleerimine. Igaüks neist nõuab erinevat manustamistehnikat, et sõnum suuruse muutmise korral ellu jääks.
Nende juhiste manustamiseks on kasutatud avatud lähtekoodiga tööriista Anamorfer, mis on loodud piltidele sihtmärgi skaleerimise algoritmi põhjal viipasid sisestama ja neid peente mustritena peitma. Seejärel tehisintellekti pildi eeltöötlus need lõpuks paljastab.
Kui ülesanne on avalikustatud, saab mudel aktiveeri integratsioonid nagu Zapier (või IFTTT-ga sarnased teenused) ja aheltoimingudandmete kogumine, e-kirjade saatmine või ühenduse loomine kolmandate osapoolte teenustega, kõik näiliselt normaalses voolus.
Lühidalt, see ei ole ühe tarnija üksik ebaõnnestumine, vaid pigem struktuuriline nõrkus skaleeritud piltide käsitlemisel multimodaalsetes torujuhtmetes, mis ühendavad teksti, visiooni ja tööriistu.
Leevendusmeetmed ja head tavad
Teadlased soovitavad vältige vähendamist igal võimalusel ja selle asemel, piirkoormuse mõõtmedKui skaleerimine on vajalik, on soovitatav lisada eelvaade sellest, mida mudel tegelikult näeb, ka CLI-tööriistades ja API-s ning kasutage tuvastustööriistu, näiteks Google'i sünteesID.
Disaini tasandil on kõige kindlam kaitse läbi turvamustrid ja süstemaatilised kontrollid sõnumi süstimise vastu: pildile manustatud sisu ei tohiks olla võimeline algatama Kõned tundlikele tööriistadele ilma selgesõnalise kinnituseta kasutaja.
Operatiivsel tasandil on see mõistlik Vältige tundmatu päritoluga piltide üleslaadimist Geminisse ja vaadake hoolikalt üle abilisele või rakendustele antud õigused (juurdepääs e-postile, kalendrile, automatiseeringutele jne). Need tõkked vähendavad potentsiaalset mõju oluliselt.
Tehniliste meeskondade jaoks on mõttekas auditeerida multimodaalset eeltöötlust, tugevdada tegevuste liivakasti ja anomaalsete mustrite salvestamine/hoiatus tööriista aktiveerimine pärast piltide analüüsimist. See täiendab tootetaseme kaitset.
Kõik viitab sellele, et me seisame silmitsi Teine kiire süstimise variant Rakendatakse visuaalsetele kanalitele. Ennetavate meetmete, sisendi kontrollimise ja kohustuslike kinnituste abil kitsendatakse ärakasutamise piire ning piiratakse kasutajate ja ettevõtete riski.
Uuring keskendub multimodaalsete mudelite pimealale: Kujutise skaleerimine võib muutuda rünnakuvektoriks Kui sisendi eeltöötluse mõistmine, õiguste piiramine ja kriitiliste toimingute eelkinnituste nõudmine jäetakse kontrollimata, võivad need olla määravad, kas tegemist on pelga hetktõmmisega või andmetele juurdepääsu võimaldava lüüsiga.
Olen tehnoloogiahuviline, kes on muutnud oma "nohikese" huvidest elukutse. Olen veetnud üle 10 aasta oma elust tipptehnoloogiat kasutades ja puhtast uudishimust igasuguste programmide kallal nokitsenud. Nüüd olen spetsialiseerunud arvutitehnoloogiale ja videomängudele. Seda seetõttu, et rohkem kui 5 aastat olen kirjutanud erinevatele tehnoloogia ja videomängude veebisaitidele, luues artikleid, mille eesmärk on anda teile vajalikku teavet kõigile arusaadavas keeles.
Kui teil on küsimusi, siis minu teadmised ulatuvad kõigest, mis on seotud nii Windowsi operatsioonisüsteemiga kui ka Androidiga mobiiltelefonidele. Ja ma olen pühendunud teile, olen alati nõus kulutama paar minutit ja aitama teil lahendada kõik küsimused, mis teil selles Interneti-maailmas tekkida võivad.