- Hücum, Əkizlər bürcündə ölçülən zaman xəbərdarlıq etmədən yerinə yetirilən görüntülərdə görünməz multimodal göstərişləri gizlədir.
- Vektor təsvirin əvvəlcədən işlənməsindən (224x224/512x512) istifadə edir və məlumatların çıxarılması üçün Zapier kimi alətləri işə salır.
- Ən yaxın qonşu, ikixətli və bikub alqoritmləri həssasdır; Anamorfer aləti onları enjekte etməyə imkan verir.
- Mütəxəssislər həssas hərəkətləri yerinə yetirməzdən əvvəl miqyasını azaltmaqdan, daxil edilmiş məlumatlara əvvəlcədən baxmaqdan və təsdiq tələb etməkdən çəkinməyi məsləhət görürlər.
Bir qrup tədqiqatçı bacara bilən bir müdaxilə metodunu sənədləşdirdi şəkillərə gizli təlimatlar yeritməklə şəxsi məlumatların oğurlanmasıBu fayllar Əkizlər kimi multimodal sistemlərə yükləndikdə, avtomatik əvvəlcədən emal əmrləri aktivləşdirir və AI onları etibarlı kimi izləyir.
The Trail of Bits tərəfindən bildirilən kəşf istehsal mühitinə təsir edir. Gemini CLI, Vertex AI Studio, Gemini API, Google Assistant və ya Genspark kimiGoogle etiraf etdi ki, bu, sənaye üçün əhəmiyyətli bir problemdir, indiyə qədər real mühitlərdə istismara dair heç bir sübut yoxdur. Boşluq Mozilla-nın 0Din proqramı vasitəsilə özəl olaraq açıqlanıb.
Şəkil miqyası hücumu necə işləyir
Əsas təhlil öncəsi mərhələdədir: bir çox AI boru kəmərləri Şəkillərin ölçüsünü avtomatik olaraq standart təsvir ölçüsünə dəyişdirin (224×224 və ya 512×512)Praktikada model orijinal faylı görmür, əksinə kiçildilmiş versiyanı görür və zərərli məzmun məhz burada aşkarlanır.
Hücumçular daxil edin Görünməz su nişanları ilə kamuflyaj edilmiş multimodal göstərişlər, tez-tez fotoşəkilin qaranlıq yerlərində. Təkmilləşdirmə alqoritmləri işə salındıqda, bu nümunələr ortaya çıxır və model onları qanuni göstərişlər kimi şərh edir, bu da arzuolunmaz hərəkətlərə səbəb ola bilər.
Nəzarət edilən testlərdə tədqiqatçılar bunu bacardılar Google Təqvimdən məlumatları çıxarın və xarici e-poçta göndərin istifadəçi təsdiqi olmadan. Bundan əlavə, bu üsullar ailə ilə əlaqələndirilir sürətli inyeksiya hücumları artıq agent alətlərində (məsələn, Claude Code və ya OpenAI Codex) nümayiş etdirilmişdir məlumatı çıxarmaq və ya avtomatlaşdırma hərəkətlərini işə salmaq etibarlı olmayan axınlardan istifadə edir.
Paylanma vektoru genişdir: vebsaytdakı şəkil, WhatsApp-da paylaşılan mem və ya a fişinq kampaniyası ola bilərdi AI-dən məzmunu emal etməsini istədikdə sorğunu aktivləşdirinHücumun AI boru kəmərinin təhlildən əvvəl miqyasını yerinə yetirdiyi zaman reallaşdığını vurğulamaq vacibdir; həmin addımı keçmədən şəkilə baxmaq onu işə salmır.
Buna görə də, risk AI-nin əlaqəli alətlərə çıxışı olduğu axınlarda cəmlənir (məsələn, e-poçt göndərin, təqvimləri yoxlayın və ya API istifadə edin): Əgər qorunma tədbirləri yoxdursa, o, onları istifadəçi müdaxiləsi olmadan yerinə yetirəcək.
Həssas alqoritmlər və alətlər
Hücum müəyyən alqoritmləri necə istismar edir yüksək həlledici məlumatı daha az pikselə sıxışdırın kiçilmə zamanı: ən yaxın qonşu interpolyasiyası, ikixətli interpolyasiyası və bikub interpolasiyası. Mesajın ölçüsünü dəyişməyə davam etməsi üçün hər biri fərqli yerləşdirmə texnikası tələb edir.
Bu təlimatları daxil etmək üçün açıq mənbə alətindən istifadə edilmişdir Anamorfer, hədəf miqyas alqoritminə əsaslanan şəkillərə göstərişlər daxil etmək və onları incə naxışlarda gizlətmək üçün nəzərdə tutulmuşdur. Süni intellektin təsvirinin əvvəlcədən işlənməsi nəticədə onları üzə çıxarır.
Tələb aşkar edildikdən sonra model edə bilər Zapier kimi inteqrasiyaları aktivləşdirin (və ya IFTTT-yə oxşar xidmətlər) və zəncirvari hərəkətlər: məlumatların toplanması, e-poçtların göndərilməsi və ya üçüncü tərəf xidmətlərinə bağlantılar, hamısı normal görünən bir axın içində.
Bir sözlə, bu, tədarükçünün təcrid olunmuş uğursuzluğu deyil, əksinə, a miqyaslı şəkillərlə işləməkdə struktur zəifliyi mətn, görmə və alətləri birləşdirən multimodal boru kəmərləri daxilində.
Zərərlərin azaldılması tədbirləri və yaxşı təcrübələr
Tədqiqatçılar tövsiyə edirlər mümkün olduqda ölçüsünü azaltmaqdan çəkinin və əvəzinə, yük ölçülərini məhdudlaşdırın. Ölçələmə zəruri olduqda, a-nı daxil etmək məsləhətdir modelin əslində nə görəcəyinə dair ön baxış, həmçinin CLI alətlərində və API-də və kimi aşkarlama vasitələrindən istifadə edin Google SynthID.
Dizayn səviyyəsində ən möhkəm müdafiə keçir təhlükəsizlik nümunələri və sistematik nəzarət mesaj inyeksiyasına qarşı: təsvirə daxil edilmiş heç bir məzmun başlaya bilməməlidir Açıq təsdiq olmadan həssas alətlərə zənglər istifadəçinin.
Əməliyyat səviyyəsində bu, ehtiyatlıdır Mənşəyi bilinməyən şəkilləri Əkizlər bürcünə yükləməkdən çəkinin və köməkçiyə və ya tətbiqlərə verilmiş icazələri diqqətlə nəzərdən keçirin (e-poçta giriş, təqvim, avtomatlaşdırma və s.). Bu maneələr potensial təsirləri əhəmiyyətli dərəcədə azaldır.
Texniki qruplar üçün multimodal ilkin emalın yoxlanılmasına, fəaliyyət sandboxunun sərtləşdirilməsinə və anomal nümunələr haqqında qeyd / xəbərdarlıq şəkilləri təhlil etdikdən sonra alətin aktivləşdirilməsi. Bu, məhsul səviyyəsində müdafiəni tamamlayır.
Hər şey üz-üzə qaldığımızı göstərir sürətli inyeksiyanın başqa bir variantı Vizual kanallara tətbiq olunur. Profilaktik tədbirlər, daxilolmaların yoxlanılması və məcburi təsdiqləmələrlə istismar marjası daralır və istifadəçilər və biznes üçün risk məhdudlaşdırılır.
Tədqiqat multimodal modellərdə kor nöqtəyə diqqət yetirir: Şəkil miqyası hücum vektoruna çevrilə bilər Yoxlanılmadıqda, daxiletmənin necə əvvəlcədən işləndiyini başa düşmək, icazələri məhdudlaşdırmaq və kritik hərəkətlərdən əvvəl təsdiqləmə tələb etmək sadəcə görüntü ilə məlumatlarınıza giriş qapısı arasında fərq yarada bilər.
Mən öz "geek" maraqlarını peşəyə çevirmiş texnologiya həvəskarıyam. Mən həyatımın 10 ilindən çoxunu qabaqcıl texnologiyadan istifadə edərək və hər cür proqramlarla maraqlanaraq sərf etmişəm. İndi mən kompüter texnologiyası və video oyunları üzrə ixtisaslaşmışam. Bunun səbəbi, 5 ildən artıqdır ki, texnologiya və video oyunlarla bağlı müxtəlif saytlar üçün yazılar yazıram, sizə lazım olan məlumatları hamı üçün başa düşülən dildə verməyə çalışan məqalələr hazırlayıram.
Hər hansı bir sualınız varsa, mənim biliklərim Windows əməliyyat sistemi, eləcə də mobil telefonlar üçün Android ilə əlaqəli hər şeyi əhatə edir. Və mənim öhdəliyim sizədir, mən həmişə bir neçə dəqiqə sərf etməyə və bu internet dünyasında yarana biləcək bütün suallarınızı həll etməyə kömək etməyə hazıram.