- Հարձակումը թաքցնում է անտեսանելի մուլտիմոդալ հուշումներ պատկերներում, որոնք Gemini-ի վրա մասշտաբավորվելիս կատարվում են առանց նախազգուշացման։
- Վեկտորը օգտագործում է պատկերի նախնական մշակումը (224x224/512x512) և ակտիվացնում է Zapier-ի նման գործիքները՝ տվյալները դուրս բերելու համար։
- Ամենամոտ հարևանի, երկգծային և երկխորանարդաձև ալգորիթմները խոցելի են. Anamorpher գործիքը թույլ է տալիս դրանք ներարկել։
- Մասնագետները խորհուրդ են տալիս խուսափել մասշտաբի փոքրացումից, մուտքագրված տվյալների նախադիտումից և զգայուն գործողություններ կատարելուց առաջ հաստատում պահանջելուց։
Մի խումբ հետազոտողներ փաստաթղթավորել են ներխուժման մեթոդ, որը կարող է անձնական տվյալների գողություն՝ պատկերների մեջ թաքնված հրահանգներ ներարկելովԵրբ այդ ֆայլերը վերբեռնվում են Gemini-ի նման մուլտիմոդալ համակարգեր, ավտոմատ նախնական մշակումը ակտիվացնում է հրամանները, և արհեստական բանականությունը հետևում է դրանց, կարծես դրանք վավեր լինեին։
Հայտնագործությունը, որի մասին հաղորդել է The Trail of Bits-ը, ազդում է արտադրական միջավայրի վրա։ ինչպիսիք են Gemini CLI-ն, Vertex AI Studio-ն, Gemini API-ն, Google Assistant-ը կամ Genspark-ըGoogle-ը ընդունել է, որ սա լուրջ մարտահրավեր է ոլորտի համար, քանի որ իրական աշխարհում շահագործման որևէ ապացույց չկա։ Խոցելիության մասին գաղտնի կերպով հաղորդվել է Mozilla-ի 0Din ծրագրի միջոցով։
Ինչպես է գործում պատկերի մասշտաբավորման հարձակումը
Հիմնականը նախնական վերլուծության փուլում է. բազմաթիվ արհեստական բանականության խողովակաշարեր Ավտոմատ կերպով չափափոխել պատկերները ստանդարտ լուծաչափերի (224×224 կամ 512×512)Գործնականում մոդելը չի տեսնում բնօրինակ ֆայլը, այլ փոքրացված տարբերակը, և հենց այդտեղ էլ բացահայտվում է վնասակար բովանդակությունը։
Հարձակվողները տեղադրում են Մուլտիմոդալ հուշումներ, որոնք քողարկված են անտեսանելի ջրանիշերով, հաճախ լուսանկարի մութ հատվածներում։ Երբ բարձրացման ալգորիթմները գործարկվում են, այս օրինաչափությունները ի հայտ են գալիս, և մոդելը դրանք մեկնաբանում է որպես օրինական հրահանգներ, ինչը կարող է հանգեցնել անցանկալի գործողությունների։
Վերահսկվող փորձարկումների արդյունքում հետազոտողներին հաջողվել է Տվյալները արդյունահանեք Google Calendar-ից և ուղարկեք դրանք արտաքին էլ. փոստին առանց օգտատիրոջ հաստատման։ Բացի այդ, այս տեխնիկաները կապված են ընտանիքի հետ արագ ներարկման հարձակումներ արդեն ցուցադրված է գործակալական գործիքներում (օրինակ՝ Claude Code կամ OpenAI Codex), որոնք ընդունակ են արտանետել տեղեկատվություն կամ ակտիվացնել ավտոմատացման գործողություններ անապահով հոսքերի շահագործումը։
Բաշխման վեկտորը լայն է. կայքում պատկեր, WhatsApp-ում տարածված մեմ կամ ֆիշինգային արշավ կարող է Ակտիվացրեք հուշումը, երբ արհեստական բանականությանը խնդրում եք մշակել բովանդակությունըԿարևոր է ընդգծել, որ հարձակումը տեղի է ունենում, երբ արհեստական բանականությունը կատարում է մասշտաբավորում վերլուծությունից առաջ. պատկերը դիտելն առանց այդ քայլն անցնելու չի ակտիվացնում այն։
Հետևաբար, ռիսկը կենտրոնացած է այն հոսքերի վրա, որտեղ արհեստական բանականությունը հասանելիություն ունի միացված գործիքներին (օրինակ՝ ուղարկել էլ.փոստեր, ստուգել օրացույցները կամ օգտագործել API-ներ): Եթե պաշտպանության միջոցներ չկան, այն կգործարկի դրանք առանց օգտատիրոջ միջամտության։
Խոցելի ալգորիթմներ և ներգրավված գործիքներ
Հարձակումը շահագործում է որոշակի ալգորիթմներ, որոնք... բարձր թույլտվությամբ տեղեկատվությունը սեղմել ավելի քիչ պիքսելների փոքրացնելիս՝ մոտակա հարևանի ինտերպոլյացիա, երկգծային ինտերպոլյացիա և երկխորանարդային ինտերպոլյացիա։ Յուրաքանչյուրը պահանջում է տարբեր ներդրման տեխնիկա, որպեսզի հաղորդագրությունը դիմանա չափի փոփոխությանը։
Այս հրահանգները ներդնելու համար օգտագործվել է բաց կոդով գործիք Անամորֆ, որը նախատեսված է պատկերների մեջ հուշումներ ներարկելու՝ հիմնվելով թիրախային մասշտաբավորման ալգորիթմի վրա և դրանք թաքցնելու նուրբ նախշերով: Այնուհետև արհեստական բանականության պատկերի նախնական մշակումը վերջնականապես բացահայտում է դրանք:
Հուշումը բացահայտելուց հետո մոդելը կարող է ակտիվացրեք ինտեգրացիաները, ինչպիսին է Zapier-ը (կամ IFTTT-ին նման ծառայություններ) և շղթայական գործողություններտվյալների հավաքագրում, էլեկտրոնային նամակների ուղարկում կամ երրորդ կողմի ծառայություններին կապ հաստատելը, բոլորը թվացյալ նորմալ հոսքի մեջ.
Ամփոփելով՝ սա մատակարարի մեկուսացված ձախողում չէ, այլ՝ կառուցվածքային թուլություն մասշտաբային պատկերների մշակման մեջ բազմամոդալ խողովակաշարերի շրջանակներում, որոնք համատեղում են տեքստը, տեսլականը և գործիքները.
Մեղմացնող միջոցառումներ և լավագույն փորձ
Հետազոտողները խորհուրդ են տալիս հնարավորության դեպքում խուսափեք կրճատումներից և փոխարենը, սահմանափակ բեռի չափսերԵրբ անհրաժեշտ է մասշտաբավորում, խորհուրդ է տրվում ներառել նախադիտում այն մասին, թե ինչ կտեսնի մոդելը իրականում, նաև CLI գործիքներում և API-ում, և օգտագործել հայտնաբերման գործիքներ, ինչպիսիք են՝ Google SynthID.
Դիզայնի մակարդակում ամենահուսալի պաշտպանությունը հետևյալն է. անվտանգության մոդելներ և համակարգված վերահսկողություն հաղորդագրության ներարկման դեմ. պատկերի մեջ ներդրված ոչ մի բովանդակություն չպետք է կարողանա նախաձեռնել Զանգեր զգայուն գործիքներին՝ առանց հստակ հաստատման օգտագործողի.
Գործառնական մակարդակում դա խելամիտ է Խուսափեք Gemini-ում անհայտ ծագման պատկերներ վերբեռնելուց և ուշադիր վերանայեք օգնականին կամ հավելվածներին տրված թույլտվությունները (էլ. փոստին, օրացույցին, ավտոմատացմանը և այլն մուտք գործելու հնարավորություն): Այս խոչընդոտները զգալիորեն նվազեցնում են հնարավոր ազդեցությունը:
Տեխնիկական թիմերի համար արժե աուդիտ անցկացնել բազմամոդալ նախնական մշակման, գործողությունների փորձնական միջավայրի ամրապնդման և գրանցել/զգուշացնել աննորմալ օրինաչափությունների վերաբերյալ գործիքի ակտիվացում պատկերները վերլուծելուց հետո: Սա լրացնում է ապրանքի մակարդակի պաշտպանությունը:
Ամեն ինչ ցույց է տալիս, որ մենք բախվում ենք արագ ներարկման մեկ այլ տարբերակ Կիրառվում է տեսողական ալիքների համար։ Կանխարգելիչ միջոցառումների, մուտքային տվյալների ստուգման և պարտադիր հաստատումների միջոցով շահագործման շրջանակը նեղանում է, և ռիսկը սահմանափակվում է օգտատերերի և բիզնեսների համար։
Հետազոտությունը կենտրոնանում է մուլտիմոդալ մոդելների կույր կետի վրա. Պատկերի մասշտաբավորումը կարող է դառնալ հարձակման վեկտոր Եթե չստուգվի, մուտքային տվյալների նախնական մշակման եղանակի հասկացումը, թույլտվությունների սահմանափակումը և կարևոր գործողություններից առաջ հաստատումների պահանջը կարող են տարբերություն ստեղծել պարզ լուսանկարի և ձեր տվյալներին մուտք գործելու դարպասի միջև։
Ես տեխնոլոգիայի էնտուզիաստ եմ, ով իր «գիկ» հետաքրքրությունները վերածել է մասնագիտության։ Ես իմ կյանքի ավելի քան 10 տարին անցկացրել եմ՝ օգտագործելով նորագույն տեխնոլոգիաներ և զուտ հետաքրքրասիրությունից դրդված բոլոր տեսակի ծրագրերի հետ աշխատելիս: Այժմ ես մասնագիտացել եմ համակարգչային տեխնիկայի և տեսախաղերի մեջ։ Դա պայմանավորված է նրանով, որ ավելի քան 5 տարի ես գրում եմ տարբեր կայքերի համար տեխնոլոգիայի և վիդեոխաղերի վերաբերյալ՝ ստեղծելով հոդվածներ, որոնք փորձում են ձեզ տրամադրել ձեզ անհրաժեշտ տեղեկատվությունը բոլորին հասկանալի լեզվով:
Եթե ունեք հարցեր, իմ գիտելիքները տատանվում են Windows օպերացիոն համակարգի հետ կապված ամեն ինչից, ինչպես նաև բջջային հեռախոսների համար նախատեսված Android-ից: Եվ իմ հանձնառությունն է ձեզ, ես միշտ պատրաստ եմ մի քանի րոպե ծախսել և օգնել ձեզ լուծել ցանկացած հարց, որը կարող եք ունենալ այս ինտերնետային աշխարհում: