Viņi ir atraduši veidu, kā Gemini fotoattēlā ielīmēt pavēles: vienkārša mērogošana liek mākslīgajam intelektam tās izpildīt.

Pētnieku grupa ir dokumentējusi ielaušanās metodi, kas spēj zādzot personas datus, attēlos ievietojot slēptas instrukcijasKad šie faili tiek augšupielādēti multimodālās sistēmās, piemēram, Gemini, automātiskā pirmapstrāde aktivizē komandas, un mākslīgais intelekts tās izpilda tā, it kā tās būtu derīgas.

Atklājums, par kuru ziņo The Trail of Bits, ietekmē ražošanas vidi. piemēram, Gemini CLI, Vertex AI Studio, Gemini API, Google Assistant vai GensparkGoogle ir atzinis, ka šī ir nopietna problēma nozarei, un līdz šim nav pierādījumu par ievainojamības izmantošanu reālās vidēs. Par ievainojamību tika privāti ziņots, izmantojot Mozilla 0Din programmu.

Kā darbojas attēlu mērogošanas uzbrukums

Galvenais ir pirmsanalīzes posmā: daudzi mākslīgā intelekta cauruļvadi Automātiski mainīt attēlu izmērus uz standarta izšķirtspēju (224 × 224 vai 512 × 512)Praksē modelis neredz oriģinālo failu, bet gan samazinātu versiju, un tieši tur tiek atklāts ļaunprātīgais saturs.

Uzbrucēju ievietošana Multimodālas uzvednes, kas maskētas ar neredzamām ūdenszīmēm, bieži vien fotoattēla tumšajās zonās. Kad darbojas mērogošanas algoritmi, šie modeļi parādās, un modelis tos interpretē kā likumīgas instrukcijas, kas var novest pie nevēlamām darbībām.

Kontrolētos testos pētniekiem izdevās Izvilkt datus no Google kalendāra un nosūtīt tos uz ārēju e-pastu bez lietotāja apstiprinājuma. Turklāt šīs metodes ir saistītas ar saimi ātras injekcijas uzbrukumi jau ir demonstrēts aģentūru rīkos (piemēram, Claude Code vai OpenAI Codex), kas spēj izfiltrēt informāciju vai aktivizēt automatizācijas darbības izmantojot nedrošas plūsmas.

Sadalījuma vektors ir plašs: attēls tīmekļa vietnē, WhatsApp kopīgota mēma vai pikšķerēšanas kampaņa varētu Aktivizējiet uzvedni, kad tiek lūgts mākslīgajam intelektam apstrādāt saturuIr svarīgi uzsvērt, ka uzbrukums materializējas, kad mākslīgā intelekta cauruļvads veic mērogošanu pirms analīzes; attēla apskate, neizejot cauri šim solim, to neizraisa.

Tāpēc risks ir koncentrēts plūsmās, kurās mākslīgajam intelektam ir piekļuve savienotiem rīkiem (piemēram, sūtīt e-pastus, pārbaudīt kalendārus vai izmantot API): Ja nav drošības pasākumu, tie tiks izpildīti bez lietotāja iejaukšanās.

Ievainojami algoritmi un iesaistītie rīki

Uzbrukums izmanto to, kā noteikti algoritmi saspiest augstas izšķirtspējas informāciju mazākā pikseļos samazināšanas laikā: tuvākā kaimiņa interpolācija, bilineārā interpolācija un bikubiskā interpolācija. Katrai no tām ir nepieciešama atšķirīga iegulšanas tehnika, lai ziņojums izturētu izmēra maiņu.

Lai iegultu šīs instrukcijas, ir izmantots atvērtā pirmkoda rīks. Anamorfers, kas paredzēta, lai attēlos ievadītu norādījumus, pamatojoties uz mērķa mērogošanas algoritmu, un paslēptu tos smalkos modeļos. Pēc tam mākslīgā intelekta attēlu pirmapstrāde tos galu galā atklāj.

Kad uzdevums ir atklāts, modelis var aktivizēt integrācijas, piemēram, Zapier (vai pakalpojumi, kas ir līdzīgi IFTTT) un ķēdes darbībasdatu vākšana, e-pasta sūtīšana vai savienojumu izveide ar trešo pušu pakalpojumiem, viss šķietami normālā plūsmā.

Īsāk sakot, šī nav atsevišķa piegādātāja kļūme, bet gan strukturāls vājums mērogotu attēlu apstrādē multimodālos cauruļvados, kas apvieno tekstu, redzi un rīkus.

Riska mazināšanas pasākumi un laba prakse

Pētnieki iesaka izvairieties no samazināšanas, kad vien iespējams un tā vietā, ierobežojošās slodzes izmēriJa nepieciešama mērogošana, ieteicams iekļaut priekšskatījums par to, ko modelis faktiski redzēs, arī CLI rīkos un API, un izmantojiet noteikšanas rīkus, piemēram, Google SynthID.

Dizaina līmenī visspēcīgākā aizsardzība ir caur drošības modeļi un sistemātiska kontrole pret ziņojumu ievadīšanu: attēlā iegultam saturam nevajadzētu būt iespējai uzsākt darbību Izsaukumi uz sensitīviem rīkiem bez skaidra apstiprinājuma lietotāja.

Operacionālā līmenī tas ir prātīgi Izvairieties augšupielādēt nezināmas izcelsmes attēlus pakalpojumā Gemini. un rūpīgi pārskatiet asistentam vai lietotnēm piešķirtās atļaujas (piekļuve e-pastam, kalendāram, automatizācijai utt.). Šie šķēršļi ievērojami samazina iespējamo ietekmi.

Tehniskajām komandām ir vērts auditēt multimodālo pirmapstrādi, pastiprināt darbību smilškastes darbību un ierakstīt/brīdināt par anomāliem modeļiem rīka aktivizēšana pēc attēlu analīzes. Tas papildina produkta līmeņa aizsardzību.

Viss liecina par to, ka mēs saskaramies vēl viens ātras injekcijas variants Pielietots vizuālajos kanālos. Ar preventīviem pasākumiem, ievades datu pārbaudi un obligātiem apstiprinājumiem tiek sašaurināta izmantošanas robeža un ierobežots risks lietotājiem un uzņēmumiem.

Pētījums koncentrējas uz aklo zonu multimodālos modeļos: Attēlu mērogošana var kļūt par uzbrukuma vektoru Ja nekas netiek pārbaudīts, izpratne par ievades pirmapstrādi, atļauju ierobežošana un apstiprinājumu pieprasīšana pirms kritiskām darbībām var radīt atšķirību starp vienkāršu momentuzņēmumu un vārteju uz jūsu datiem.

saistīto rakstu:

Kā noteikt, vai attēlu ir radījis mākslīgais intelekts: rīki, paplašinājumi un triki, lai neiekļūtu slazdā

Alberto navarro

Esmu tehnoloģiju entuziasts, kurš savas "geek" intereses ir pārvērtis profesijā. Es esmu pavadījis vairāk nekā 10 gadus no savas dzīves, izmantojot jaunākās tehnoloģijas un tīri ziņkārības vadīts ar visu veidu programmām. Tagad esmu specializējies datortehnoloģijās un videospēlēs. Tas ir tāpēc, ka vairāk nekā 5 gadus esmu rakstījis dažādām tīmekļa vietnēm par tehnoloģijām un videospēlēm, veidojot rakstus, kuru mērķis ir sniegt jums nepieciešamo informāciju ikvienam saprotamā valodā.

Ja jums ir kādi jautājumi, manas zināšanas svārstās no visa, kas saistīts ar Windows operētājsistēmu, kā arī Android mobilajiem tālruņiem. Un mana apņemšanās ir jums, es vienmēr esmu gatavs veltīt dažas minūtes un palīdzēt jums atrisināt visus jautājumus, kas jums varētu rasties šajā interneta pasaulē.