- Mae ymosodiad yn cuddio awgrymiadau amlfoddol anweledig mewn delweddau sydd, pan gânt eu graddio ar Gemini, yn gweithredu heb rybudd.
- Mae'r fector yn manteisio ar ragbrosesu delweddau (224x224/512x512) ac yn sbarduno offer fel Zapier i echdynnu data.
- Mae'r algorithmau cymydog agosaf, bilinear, a bicubig yn agored i niwed; mae'r offeryn Anamorpher yn caniatáu iddynt gael eu chwistrellu.
- Mae arbenigwyr yn cynghori osgoi lleihau maint y ddyfais, rhagweld mewnbwn, a gofyn am gadarnhad cyn cyflawni gweithredoedd sensitif.
Mae grŵp o ymchwilwyr wedi dogfennu dull ymyrraeth sy'n gallu dwyn data personol drwy chwistrellu cyfarwyddiadau cudd i ddelweddauPan fydd y ffeiliau hynny'n cael eu huwchlwytho i systemau amlfoddol fel Gemini, mae prosesu ymlaen llaw awtomatig yn actifadu'r gorchmynion, ac mae'r AI yn eu dilyn fel pe baent yn ddilys.
Mae'r darganfyddiad, a adroddwyd gan The Trail of Bits, yn effeithio ar amgylcheddau cynhyrchu. fel Gemini CLI, Vertex AI Studio, Gemini API, Cynorthwyydd Google neu GensparkMae Google wedi cydnabod bod hwn yn her sylweddol i'r diwydiant, heb unrhyw dystiolaeth o gamfanteisio mewn amgylcheddau byd go iawn hyd yn hyn. Adroddwyd am y bregusrwydd yn breifat trwy raglen 0Din Mozilla.
Sut mae'r ymosodiad graddio delweddau'n gweithio
Yr allwedd yw'r cam cyn-ddadansoddi: llawer o biblinellau AI Newid maint delweddau'n awtomatig i benderfyniadau safonol (224 × 224 neu 512 × 512)Yn ymarferol, nid yw'r model yn gweld y ffeil wreiddiol, ond yn hytrach fersiwn llai, a dyna lle mae'r cynnwys maleisus yn cael ei ddatgelu.
Mewnosodiad ymosodwyr Awgrymiadau amlfoddol wedi'u cuddio gan ddyfrnodau anweledig, yn aml mewn mannau tywyll y llun. Pan fydd yr algorithmau uwchraddio yn rhedeg, mae'r patrymau hyn yn dod i'r amlwg ac mae'r model yn eu dehongli fel cyfarwyddiadau dilys, a all arwain at gamau gweithredu diangen.
Mewn profion rheoledig, llwyddodd ymchwilwyr i Tynnu data o Google Calendar a'i anfon at e-bost allanol heb gadarnhad gan y defnyddiwr. Yn ogystal, mae'r technegau hyn yn cysylltu â theulu o ymosodiadau chwistrellu cyflym eisoes wedi'i ddangos mewn offer asiant (megis Claude Code neu OpenAI Codex), sy'n gallu allfudo gwybodaeth neu sbarduno gweithredoedd awtomeiddio manteisio ar lifau ansicr.
Mae'r fector dosbarthu yn eang: delwedd ar wefan, meme a rennir ar WhatsApp neu ymgyrch gwe-rwydo podrían Galluogwch yr awgrym wrth ofyn i'r AI brosesu'r cynnwysMae'n bwysig pwysleisio bod yr ymosodiad yn digwydd pan fydd y biblinell AI yn cyflawni'r graddio cyn y dadansoddiad; nid yw gweld y ddelwedd heb fynd trwy'r cam hwnnw yn ei sbarduno.
Felly, mae'r risg wedi'i chanoli mewn llifau lle mae gan AI fynediad at offer cysylltiedig (e.e., anfon negeseuon e-bost, gwirio calendrau neu ddefnyddio APIs): Os nad oes unrhyw ddiogelwch, bydd yn eu gweithredu heb ymyrraeth y defnyddiwr.
Algorithmau ac offer bregus sy'n gysylltiedig
Mae'r ymosodiad yn manteisio ar sut mae algorithmau penodol yn cywasgu gwybodaeth cydraniad uchel i lai o bicseli wrth leihau maint: rhyngosodiad cymydog agosaf, rhyngosodiad bilinol, a rhyngosodiad bigiwbig. Mae angen techneg fewnosod wahanol ar bob un er mwyn i'r neges oroesi newid maint.
I fewnosod y cyfarwyddiadau hyn, defnyddiwyd yr offeryn ffynhonnell agored Anamorffwr, wedi'i gynllunio i chwistrellu awgrymiadau i ddelweddau yn seiliedig ar yr algorithm graddio targed a'u cuddio mewn patrymau cynnil. Yna mae prosesu delweddau'r AI yn eu datgelu yn y pen draw.
Unwaith y bydd yr awgrym yn cael ei ddatgelu, gall y model actifadu integreiddiadau fel Zapier (neu wasanaethau tebyg i IFTTT) a gweithredoedd cadwyncasglu data, anfon negeseuon e-bost neu gysylltiadau â gwasanaethau trydydd parti, i gyd o fewn llif sy'n ymddangos yn normal.
Yn fyr, nid methiant unigol gan gyflenwr yw hwn, ond yn hytrach gwendid strwythurol wrth drin delweddau wedi'u graddio o fewn piblinellau amlfoddol sy'n cyfuno testun, gweledigaeth ac offer.
Mesurau lliniaru ac arferion da
Mae ymchwilwyr yn argymell osgoi lleihau graddfa pryd bynnag y bo modd ac yn lle hynny, dimensiynau llwyth terfynPan fo angen graddio, mae'n ddoeth ymgorffori a rhagolwg o'r hyn y bydd y model yn ei weld mewn gwirionedd, hefyd mewn offer CLI ac yn yr API, a defnyddio offer canfod fel Google SynthID.
Ar lefel y dyluniad, yr amddiffyniad mwyaf cadarn yw drwy patrymau diogelwch a rheolaethau systematig yn erbyn chwistrellu negeseuon: ni ddylai unrhyw gynnwys sydd wedi'i fewnosod mewn delwedd allu cychwyn Galwadau i offer sensitif heb gadarnhad penodol o'r defnyddiwr.
Ar y lefel weithredol, mae'n ddoeth Osgowch uwchlwytho delweddau o darddiad anhysbys i Gemini ac adolygu'n ofalus y caniatâd a roddir i'r cynorthwyydd neu'r apiau (mynediad i e-bost, calendr, awtomeiddio, ac ati). Mae'r rhwystrau hyn yn lleihau'r effaith bosibl yn sylweddol.
Ar gyfer timau technegol, mae'n werth archwilio prosesu cyn-brosesu amlfoddol, caledu'r blwch tywod gweithredu, a cofnodi/rhybuddio am batrymau annormal actifadu offeryn ar ôl dadansoddi delweddau. Mae hyn yn ategu amddiffyniad ar lefel cynnyrch.
Mae popeth yn awgrymu ein bod yn wynebu amrywiad arall o chwistrelliad cyflym Wedi'i gymhwyso i sianeli gweledol. Gyda mesurau ataliol, gwirio mewnbwn, a chadarnhadau gorfodol, mae'r ymyl camfanteisio yn cael ei gulhau a'r risg yn gyfyngedig i ddefnyddwyr a busnesau.
Mae'r ymchwil yn canolbwyntio ar fan dall mewn modelau amlfoddol: Gall graddio delweddau ddod yn fector ymosod Os na chaiff ei wirio, gall deall sut mae mewnbwn yn cael ei brosesu ymlaen llaw, cyfyngu ar ganiatâd, a gofyn am gadarnhadau cyn camau gweithredu hanfodol wneud y gwahaniaeth rhwng ciplun yn unig a'r porth i'ch data.
Rwy'n frwd dros dechnoleg sydd wedi troi ei ddiddordebau "geek" yn broffesiwn. Rwyf wedi treulio mwy na 10 mlynedd o fy mywyd yn defnyddio technoleg flaengar ac yn tinkering gyda phob math o raglenni allan o chwilfrydedd pur. Nawr rydw i wedi arbenigo mewn technoleg gyfrifiadurol a gemau fideo. Mae hyn oherwydd ers mwy na 5 mlynedd rwyf wedi bod yn ysgrifennu ar gyfer gwefannau amrywiol ar dechnoleg a gemau fideo, gan greu erthyglau sy'n ceisio rhoi'r wybodaeth sydd ei hangen arnoch mewn iaith sy'n ddealladwy i bawb.
Os oes gennych unrhyw gwestiynau, mae fy ngwybodaeth yn amrywio o bopeth sy'n ymwneud â system weithredu Windows yn ogystal ag Android ar gyfer ffonau symudol. Ac mae fy ymrwymiad i chi, rwyf bob amser yn barod i dreulio ychydig funudau a'ch helpu i ddatrys unrhyw gwestiynau sydd gennych yn y byd rhyngrwyd hwn.