- Bir saldırı, Gemini'de ölçeklendiğinde uyarı vermeden yürütülen, görünmez çok modlu istemleri görüntülere gizler.
- Vektör, görüntü ön işlemeyi (224x224/512x512) kullanır ve verileri çıkarmak için Zapier gibi araçları tetikler.
- En yakın komşu, çift doğrusal ve çift kübik algoritmalar savunmasızdır; Anamorpher aracı bunların enjekte edilmesine olanak tanır.
- Uzmanlar, hassas eylemler gerçekleştirmeden önce ölçeklendirme yapmaktan, girdiyi önizlemekten ve onay gerektirmekten kaçınılmasını öneriyor.
Bir grup araştırmacı, şu yeteneğe sahip bir saldırı yöntemini belgeledi: Görüntülere gizli talimatlar enjekte ederek kişisel verileri çalmakBu dosyalar Gemini gibi çok modlu sistemlere yüklendiğinde, otomatik ön işleme komutları etkinleştiriyor ve yapay zeka bunları geçerliymiş gibi takip ediyor.
The Trail of Bits'in bildirdiğine göre keşif, üretim ortamlarını etkiliyor. Gemini CLI, Vertex AI Studio, Gemini API, Google Assistant veya Genspark gibiGoogle, bunun sektör için önemli bir zorluk olduğunu kabul etti ve gerçek dünya ortamlarında herhangi bir istismara dair kanıt bulunamadı. Güvenlik açığı, Mozilla'nın 0Din programı aracılığıyla özel olarak bildirildi.
Görüntü ölçekleme saldırısı nasıl çalışır?
Anahtar, ön analiz adımındadır: birçok yapay zeka hattı Görüntüleri otomatik olarak standart çözünürlüklere (224×224 veya 512×512) yeniden boyutlandırınUygulamada model orijinal dosyayı değil, küçültülmüş bir versiyonunu görüyor ve kötü amaçlı içerik orada ortaya çıkıyor.
Saldırganlar ekler Görünmez filigranlarla kamufle edilmiş çok modlu istemler, genellikle fotoğrafın karanlık bölgelerinde. Ölçekleme algoritmaları çalıştığında, bu desenler ortaya çıkar ve model bunları meşru talimatlar olarak yorumlar, bu da istenmeyen eylemlere yol açabilir.
Kontrollü testlerde araştırmacılar şunları başardı: Google Takvim'den veri çıkarın ve harici bir e-postaya gönderin Kullanıcı onayı olmadan. Ayrıca, bu teknikler aileye bağlanır hızlı enjeksiyon saldırıları Zaten ajan araçlarında (Claude Code veya OpenAI Codex gibi) gösterilmiş olup, bilgileri sızdırmak veya otomasyon eylemlerini tetiklemek güvenli olmayan akışlardan faydalanmak.
Dağıtım vektörü geniştir: bir web sitesindeki bir resim, WhatsApp'ta paylaşılan bir meme veya kimlik avı kampanyası could Yapay zekadan içeriği işlemesini istediğinizde istemi etkinleştirinSaldırının, AI boru hattının analizden önce ölçeklemeyi gerçekleştirmesi durumunda gerçekleştiğini vurgulamak önemlidir; bu adımdan geçmeden görüntüyü görüntülemek saldırıyı tetiklemez.
Bu nedenle risk, yapay zekanın bağlı araçlara (örn. e-posta gönderin, takvimleri kontrol edin veya API'leri kullanın): Herhangi bir koruma önlemi yoksa, kullanıcı müdahalesi olmadan bunları uygulayacaktır.
Güvenlik açığı bulunan algoritmalar ve araçlar söz konusu
Saldırı, belirli algoritmaların nasıl kullanıldığını istismar ediyor yüksek çözünürlüklü bilgileri daha az piksele sıkıştırın Küçültme sırasında: en yakın komşu enterpolasyonu, çift doğrusal enterpolasyon ve çift kübik enterpolasyon. Her biri, mesajın yeniden boyutlandırmaya dayanabilmesi için farklı bir yerleştirme tekniği gerektirir.
Bu talimatları yerleştirmek için açık kaynaklı araç kullanıldı AnamorferHedef ölçekleme algoritmasına göre görüntülere komutlar enjekte etmek ve bunları ince desenler halinde gizlemek üzere tasarlanmıştır. Yapay zekanın görüntü ön işlemesi daha sonra bunları ortaya çıkarır.
İstem ortaya çıktığında, model Zapier gibi entegrasyonları etkinleştirin (veya IFTTT'ye benzer hizmetler) ve zincirleme eylemler: veri toplama, e-posta gönderme veya üçüncü taraf hizmetlerine bağlantılar, hepsi görünüşte normal bir akış içinde.
Kısacası, bu bir tedarikçinin münferit bir başarısızlığı değil, daha ziyade ölçekli görüntülerin işlenmesinde yapısal zayıflık metin, vizyon ve araçları birleştiren çok modlu kanallar içinde.
Azaltma önlemleri ve iyi uygulamalar
Araştırmacılar şunu öneriyor: mümkün olduğunca küçültmekten kaçının ve bunun yerine, limit yük boyutlarıÖlçeklendirmenin gerekli olduğu durumlarda, bir ölçeklendirmenin dahil edilmesi tavsiye edilir. modelin gerçekte ne göreceğinin ön izlemesi, ayrıca CLI araçlarında ve API'de ve aşağıdaki gibi algılama araçlarını kullanın: Google SynthID.
Tasarım düzeyinde en sağlam savunma, güvenlik kalıpları ve sistematik kontroller Mesaj enjeksiyonuna karşı: Bir görüntüye yerleştirilen hiçbir içerik, mesaj enjeksiyonunu başlatamamalıdır Açık bir onay olmadan hassas araçlara yapılan çağrılar kullanıcı.
Operasyonel düzeyde ihtiyatlı olmak gerekir Gemini'ye bilinmeyen kaynaklı görseller yüklemekten kaçının ve asistana veya uygulamalara verilen izinleri (e-postaya, takvime, otomasyonlara vb. erişim) dikkatlice inceleyin. Bu engeller, olası etkiyi önemli ölçüde azaltır.
Teknik ekipler için, çok modlu ön işlemeyi denetlemek, eylem deneme ortamını güçlendirmek ve anormal desenleri kaydet/uyar Görüntüleri analiz ettikten sonra aracın etkinleştirilmesi. Bu, ürün düzeyinde savunmayı tamamlar.
Her şey şu gerçeğe işaret ediyor: hızlı enjeksiyonun başka bir çeşidi Görsel kanallara uygulanır. Önleyici tedbirler, girdi doğrulama ve zorunlu onaylarla, istismar payı daraltılır ve kullanıcılar ve işletmeler için risk sınırlandırılır.
Araştırma, çok modlu modellerdeki kör noktaya odaklanıyor: Görüntü ölçekleme bir saldırı vektörü haline gelebilir Kontrol edilmediği takdirde, girdinin nasıl ön işlendiğini anlamak, izinleri sınırlamak ve kritik eylemlerden önce onay gerektirmek, basit bir anlık görüntü ile verilerinize açılan kapı arasındaki farkı yaratabilir.
Ben "inek" merakını mesleğe dönüştürmüş bir teknoloji tutkunuyum. Hayatımın 10 yıldan fazlasını en son teknolojiyi kullanarak ve sırf merakımdan dolayı her türlü programı kurcalayarak geçirdim. Artık bilgisayar teknolojisi ve video oyunları konusunda uzmanlaştım. Bunun nedeni, 5 yılı aşkın bir süredir teknoloji ve video oyunlarıyla ilgili çeşitli web sitelerinde yazılar yazıyor olmam ve ihtiyacınız olan bilgileri herkesin anlayabileceği bir dilde size vermeye çalışan makaleler oluşturmamdır.
Sorularınız varsa bilgim Windows işletim sistemi ve cep telefonları için Android ile ilgili her şeyi kapsar. Ve size olan bağlılığımdır, her zaman birkaç dakikamı ayırmaya ve bu internet dünyasında aklınıza gelebilecek her türlü soruyu çözmenize yardımcı olmaya hazırım.