- Një sulm fsheh mesazhe multimodale të padukshme në imazhe që, kur shkallëzohen në Gemini, ekzekutohen pa paralajmërim.
- Vektori shfrytëzon përpunimin paraprak të imazhit (224x224/512x512) dhe aktivizon mjete si Zapier për të nxjerrë të dhëna.
- Algoritmet e fqinjit më të afërt, bilineare dhe bikubike janë të cenueshme; mjeti Anamorpher lejon që ato të injektohen.
- Ekspertët këshillojnë të shmangin zvogëlimin e madhësisë, shikimin paraprak të të dhënave hyrëse dhe kërkimin e konfirmimit përpara se të kryejnë veprime të ndjeshme.
Një grup studiuesish ka dokumentuar një metodë ndërhyrjeje të aftë për të vjedhja e të dhënave personale duke injektuar udhëzime të fshehura në imazheKur këto skedarë ngarkohen në sisteme multimodale si Gemini, përpunimi automatik paraprak aktivizon komandat dhe IA i ndjek ato sikur të ishin të vlefshme.
Zbulimi, i raportuar nga The Trail of Bits, ndikon në mjediset e prodhimit. siç janë Gemini CLI, Vertex AI Studio, Gemini API, Google Assistant ose GensparkGoogle ka pranuar se kjo është një sfidë e rëndësishme për industrinë, pa asnjë provë shfrytëzimi në mjedise të botës reale deri më tani. Dobësia u raportua privatisht përmes programit 0Din të Mozilla-s.
Si funksionon sulmi i shkallëzimit të imazhit
Çelësi është në hapin para-analizë: shumë kanale të inteligjencës artificiale Ndryshoni automatikisht madhësinë e imazheve në rezolucione standarde (224×224 ose 512×512)Në praktikë, modeli nuk e sheh skedarin origjinal, por një version të zvogëluar, dhe aty zbulohet përmbajtja keqdashëse.
Sulmuesit futin Njoftime multimodale të kamufluara nga filigrana të padukshme, shpesh në zona të errëta të fotos. Kur algoritmet e përmirësimit ekzekutohen, këto modele dalin në pah dhe modeli i interpreton ato si udhëzime legjitime, të cilat mund të çojnë në veprime të padëshiruara.
Në testet e kontrolluara, studiuesit arritën të Nxirrni të dhëna nga Kalendari Google dhe dërgojini ato në një email të jashtëm pa konfirmimin e përdoruesit. Përveç kësaj, këto teknika lidhen me familjen e sulme të shpejta injeksioni të demonstruara tashmë në mjetet agjentike (si Claude Code ose OpenAI Codex), të afta për të nxjerr informacion ose aktivizon veprime automatizimi duke shfrytëzuar rrjedhat e pasigurta.
Vektori i shpërndarjes është i gjerë: një imazh në një faqe interneti, një meme i ndarë në WhatsApp ose një fushatë phishing mundet Aktivizoni kërkesën kur i kërkoni IA-së të përpunojë përmbajtjenËshtë e rëndësishme të theksohet se sulmi materializohet kur sistemi i inteligjencës artificiale kryen shkallëzimin para analizës; shikimi i imazhit pa kaluar nëpër atë hap nuk e aktivizon atë.
Prandaj, rreziku është i përqendruar në rrjedhat ku IA ka qasje në mjetet e lidhura (p.sh., dërgoni email-e, kontrolloni kalendarët ose përdorni API-të): Nëse nuk ka masa mbrojtëse, do t'i ekzekutojë ato pa ndërhyrjen e përdoruesit.
Algoritme dhe mjete të cenueshme të përfshira
Sulmi shfrytëzon mënyrën se si algoritme të caktuara kompresoni informacionin me rezolucion të lartë në më pak pikselë gjatë zvogëlimit të madhësisë: interpolimi i fqinjit më të afërt, interpolimi bilinear dhe interpolimi bikubik. Secila kërkon një teknikë të ndryshme ngulitjeje që mesazhi t'i mbijetojë ndryshimit të madhësisë.
Për të integruar këto udhëzime është përdorur mjeti me burim të hapur Anamorfer, i projektuar për të injektuar mesazhe në imazhe bazuar në algoritmin e shkallëzimit të objektivit dhe për t'i fshehur ato në modele delikate. Para-përpunimi i imazhit nga inteligjenca artificiale më pas i zbulon ato.
Pasi të zbulohet kërkesa, modeli mund të aktivizoni integrime si Zapier (ose shërbime të ngjashme me IFTTT) dhe veprime zinxhirmbledhjen e të dhënave, dërgimin e email-eve ose lidhjet me shërbimet e palëve të treta, të gjitha brenda një rrjedhe në dukje normale.
Shkurt, ky nuk është një dështim i izoluar i një furnizuesi, por më tepër një dobësi strukturore në trajtimin e imazheve të shkallëzuara brenda tubacioneve multimodale që kombinojnë tekstin, vizionin dhe mjetet.
Masat zbutëse dhe praktikat e mira
Studiuesit rekomandojnë shmangni zvogëlimin sa herë që të jetë e mundur dhe në vend të kësaj, dimensionet e ngarkesës kufitareKur shkallëzimi është i nevojshëm, këshillohet të përfshihet një një pamje paraprake e asaj që modeli do të shohë në të vërtetë, gjithashtu në mjetet CLI dhe në API, dhe përdorin mjete zbulimi si p.sh. Google SynthID.
Në nivelin e projektimit, mbrojtja më e fortë është përmes modelet e sigurisë dhe kontrollet sistematike kundër injektimit të mesazhit: asnjë përmbajtje e ngulitur në një imazh nuk duhet të jetë në gjendje të iniciojë Thirrje për mjete të ndjeshme pa konfirmim të qartë të përdoruesit.
Në nivelin operativ, është e kujdesshme Shmangni ngarkimin e imazheve me origjinë të panjohur te Gemini dhe shqyrtoni me kujdes lejet e dhëna asistentit ose aplikacioneve (qasje në email, kalendar, automatizime, etj.). Këto pengesa e zvogëlojnë ndjeshëm ndikimin e mundshëm.
Për ekipet teknike, ia vlen të auditohet përpunimi paraprak multimodal, të forcohet sandbox-i i veprimit dhe regjistro/alarm për modele anomale aktivizimi i mjetit pas analizimit të imazheve. Kjo plotëson mbrojtjen në nivel produkti.
Gjithçka tregon faktin se po përballemi me një variant tjetër i injeksionit të shpejtë Zbatohet në kanalet vizuale. Me masa parandaluese, verifikim të të dhënave hyrëse dhe konfirmime të detyrueshme, kufiri i shfrytëzimit ngushtohet dhe rreziku kufizohet për përdoruesit dhe bizneset.
Hulumtimi përqendrohet në një pikë të verbër në modelet multimodale: Shkallëzimi i imazhit mund të bëhet një vektor sulmi Nëse nuk kontrollohet, të kuptuarit se si përpunohen paraprakisht të dhënat e dhëna, kufizimi i lejeve dhe kërkesa për konfirmime para veprimeve kritike mund të bëjë diferencën midis një pamjeje të thjeshtë dhe hyrjes në të dhënat tuaja.
Unë jam një entuziast i teknologjisë që i kam kthyer në profesion interesat e tij "geek". Kam shpenzuar më shumë se 10 vjet të jetës sime duke përdorur teknologjinë më të fundit dhe duke punuar me të gjitha llojet e programeve nga kurioziteti i pastër. Tani jam specializuar në teknologjinë kompjuterike dhe videolojërat. Kjo sepse prej më shumë se 5 vitesh shkruaj për faqe të ndryshme interneti mbi teknologjinë dhe videolojërat, duke krijuar artikuj që kërkojnë t'ju japin informacionin që ju nevojitet në një gjuhë të kuptueshme nga të gjithë.
Nëse keni ndonjë pyetje, njohuritë e mia variojnë nga gjithçka që lidhet me sistemin operativ Windows si dhe Android për telefonat celularë. Dhe angazhimi im është për ju, unë jam gjithmonë i gatshëm të kaloj disa minuta dhe t'ju ndihmoj të zgjidhni çdo pyetje që mund të keni në këtë botë të internetit.