Gemini-n argazki batean aginduak isilpean sartzeko modu bat aurkitu dute: eskalatze soil batek IA-k exekutatzea eragiten du.

Azken eguneratzea: 03/09/2025

  • Eraso batek irudietan ikusezin diren galdera multimodalak ezkutatzen ditu, eta Gemini-n eskalatzean abisurik gabe exekutatzen dira.
  • Bektoreak irudien aurreprozesamendua (224x224/512x512) erabiltzen du eta Zapier bezalako tresnak abiarazten ditu datuak kanporatzeko.
  • Hurbilen bizilagunaren, bilinealaren eta bikubikoaren algoritmoak ahulak dira; Anamorpher tresnak injektatzeko aukera ematen du.
  • Adituek gomendatzen dute ez dadila eskalatzea, sarreraren aurrebista ikustea eta ekintza sentikorrak egin aurretik berrespena eskatzea.

Irudi erasoak IA sistemetan

Ikertzaile talde batek intrusio metodo bat dokumentatu du datu pertsonalak lapurtzea irudietan argibide ezkutuak txertatuzFitxategi horiek Gemini bezalako sistema multimodaletara igotzen direnean, aurreprozesamendu automatikoak komandoak aktibatzen ditu, eta IAk baliozkoak balira bezala jarraitzen ditu.

The Trail of Bits-ek jakinarazi duenez, aurkikuntzak ekoizpen-inguruneei eragiten die. hala nola Gemini CLI, Vertex AI Studio, Gemini API, Google Assistant edo GensparkGooglek onartu du hau erronka garrantzitsua dela industriarentzat, orain arte ez baitago benetako inguruneetan ustiapenaren frogarik. Ahultasunaren berri eman zen pribatuan Mozillaren 0Din programaren bidez.

Irudien eskalatze erasoa nola funtzionatzen duen

Nola funtzionatzen duen Gemini irudien eskalatze erasoak

Gakoa aurre-analisi urratsean dago: IA hodi asko Irudien tamaina automatikoki aldatu bereizmen estandarretara (224×224 edo 512×512)Praktikan, modeloak ez du jatorrizko fitxategia ikusten, baizik eta bertsio txikiagotu bat, eta hor agerian geratzen da eduki gaiztoa.

Eduki esklusiboa - Egin klik hemen  Nola aldatu Samsung Wallet Google Pay-ra

Erasotzaileek txertatzen dute Ur-marka ikusezinekin kamuflatutako gonbidapen multimodalak, askotan argazkiaren eremu ilunetan. Eskalatzeko algoritmoak exekutatzen direnean, eredu hauek agertzen dira eta modeloak argibide legitimo gisa interpretatzen ditu, eta horrek nahi gabeko ekintzak ekar ditzake.

Kontrolatutako probetan, ikertzaileek lortu zuten Atera datuak Google Calendar-etik eta bidali kanpoko posta elektroniko batera erabiltzailearen baieztapenik gabe. Gainera, teknika hauek familiarengana lotzen dira injekzio eraso azkarrak dagoeneko frogatuta dago tresna eragileetan (Claude Code edo OpenAI Codex bezalakoetan), gai direnak informazioa kanporatu edo automatizazio ekintzak abiarazi fluxu ez-seguruak ustiatzea.

Banaketa bektorea zabala da: webgune bateko irudi bat, WhatsApp-en partekatutako meme bat edo phishing kanpaina Could Aktibatu gonbidapena IAri edukia prozesatzeko eskatzeanGarrantzitsua da azpimarratzea erasoa IA kanalizazioak analisia egin aurretik eskalatzea egiten duenean gauzatzen dela; urrats hori igaro gabe irudia ikusteak ez du eragiten.

Beraz, arriskua IAk konektatutako tresnetarako sarbidea duen fluxuetan kontzentratzen da (adibidez, bidali mezu elektronikoak, egiaztatu egutegiak edo erabili APIak): Babes-neurririk ez badago, erabiltzailearen esku-hartzerik gabe exekutatuko ditu.

Algoritmo eta tresna zaurgarriak inplikatuta

Irudien eskalatze ahultasuna IA-n

Erasoak algoritmo batzuek nola erabiltzen duten ustiatzen du bereizmen handiko informazioa pixel gutxiagotan konprimitu tamaina txikitzean: hurbilen dagoen bizilagunaren interpolazioa, interpolazio bilineala eta interpolazio bikubikoa. Bakoitzak txertatze-teknika desberdina behar du mezua tamainaz aldatzean bizirauteko.

Eduki esklusiboa - Egin klik hemen  Android System SafetyCore: zer da eta zergatik dago zure telefonoan?

Argibide hauek txertatzeko, kode irekiko tresna erabili da Anamorfoa, helburuaren eskalatze algoritmoan oinarritutako gonbidapenak irudietan txertatzeko eta eredu sotiletan ezkutatzeko diseinatua. Azkenean, IAren irudien aurreprozesamenduak agerian uzten ditu.

Behin gonbidapena agerian utzita, modeloak gai da aktibatu Zapier bezalako integrazioak (edo IFTTTren antzeko zerbitzuak) eta kate-ekintzak: datuen bilketa, mezu elektronikoak bidaltzea edo hirugarrenen zerbitzuetara konektatzea, itxuraz normala den fluxu baten barruan.

Laburbilduz, hau ez da hornitzaile baten porrot isolatu bat, baizik eta eskalatutako irudiak maneiatzean egiturazko ahultasuna testua, ikuspegia eta tresnak konbinatzen dituzten hodi multimodalen barruan.

Arintze neurriak eta praktika onak

synthID

Ikertzaileek gomendatzen dute ahal den guztietan saihestu eskala txikitzea eta horren ordez, muga-karga neurriakEskalatzea beharrezkoa denean, komenigarria da sartzea modeloak benetan ikusiko duenaren aurrebista, baita CLI tresnetan eta APIan ere, eta erabili detekzio tresnak, hala nola Google SynthID.

Diseinu mailan, defentsa sendoena honen bidez da segurtasun ereduak eta kontrol sistematikoak mezu-injekzioaren aurka: irudi batean txertatutako edukiak ezin du hasi Tresna sentikorretarako deiak baieztapen espliziturik gabe erabiltzailearen.

Eduki esklusiboa - Egin klik hemen  Nola ekidin alokairuen iruzurrak

Eragiketa mailan, zuhurra da Saihestu jatorri ezezaguneko irudiak Gemini-ra igotzea eta arretaz berrikusi laguntzaileari edo aplikazioei emandako baimenak (posta elektronikorako sarbidea, egutegia, automatizazioak, etab.). Oztopo hauek nabarmen murrizten dute balizko eragina.

Talde teknikoentzat, merezi du prozesamendu multimodala aztertzea, ekintza-sandboxa gogortzea eta eredu anomaloei buruzko erregistroa/alerta Irudiak aztertu ondoren tresnaren aktibazioa. Honek produktu mailako defentsa osatzen du.

Dena adierazten du aurrean gaudela injekzio azkarraren beste aldaera bat Ikus-entzunezko kanaletan aplikatua. Prebentzio neurriekin, sarrera egiaztatzearekin eta nahitaezko baieztapenekin, ustiapen-marjina murrizten da eta arriskua mugatu egiten da erabiltzaileentzat eta enpresentzat.

Ikerketak eredu multimodaletan dauden puntu itsu batean jartzen du arreta: Irudien eskalatzea eraso bektore bihur daiteke Kontrolatu gabe uzten bada, sarrera nola prozesatzen den aldez aurretik ulertzeak, baimenak mugatzeak eta ekintza kritikoak egin aurretik baieztapenak eskatzeak aldea eragin dezake argazki soil baten eta zure datuetarako atebidearen artean.

luzapenek AI-0-k sortutako irudiak detektatzen dituzte
Lotutako artikulua:
Nola detektatu irudi bat adimen artifizialak sortu duen: tresnak, luzapenak eta trikimailuak tranpan erortzea saihesteko