Znaleźli sposób na przemycanie poleceń do zdjęcia w Gemini: proste skalowanie sprawia, że ​​sztuczna inteligencja je wykonuje.

Grupa badaczy udokumentowała metodę włamania, która umożliwia kradzież danych osobowych poprzez wstrzykiwanie ukrytych instrukcji do obrazówKiedy pliki te zostaną przesłane do systemów multimodalnych, takich jak Gemini, automatyczne przetwarzanie wstępne aktywuje polecenia, a sztuczna inteligencja realizuje je tak, jakby były prawidłowe.

Odkrycie, o którym informuje The Trail of Bits, ma wpływ na środowiska produkcyjne. takie jak Gemini CLI, Vertex AI Studio, Gemini API, Google Assistant czy GensparkGoogle przyznało, że stanowi to poważne wyzwanie dla branży, ale jak dotąd nie znaleziono dowodów na wykorzystanie tej luki w rzeczywistych środowiskach. Luka została zgłoszona prywatnie za pośrednictwem programu 0Din firmy Mozilla.

Jak działa atak polegający na skalowaniu obrazu

Kluczem jest etap wstępnej analizy: wiele procesów AI Automatyczna zmiana rozmiaru obrazów do standardowej rozdzielczości (224×224 lub 512×512)W praktyce model nie widzi oryginalnego pliku, lecz jego pomniejszoną wersję i to właśnie tam ujawnia się złośliwa zawartość.

Atakujący wstawiają Multimodalne komunikaty zamaskowane niewidocznymi znakami wodnymi, często w ciemnych obszarach zdjęcia. Podczas działania algorytmów skalowania, te wzorce ujawniają się, a model interpretuje je jako prawidłowe instrukcje, co może prowadzić do niepożądanych działań.

W kontrolowanych testach badaczom udało się Wyodrębnij dane z Kalendarza Google i wyślij je na zewnętrzny adres e-mail bez potwierdzenia użytkownika. Ponadto techniki te łączą się z rodziną szybkie ataki wstrzyknięć już zademonstrowano w narzędziach agentowych (takich jak Claude Code czy OpenAI Codex), które są w stanie eksfiltrować informacje lub uruchamiać działania automatyzacyjne wykorzystywanie niebezpiecznych przepływów.

Wektor rozkładu jest szeroki: obraz na stronie internetowej, mem udostępniony na WhatsAppie lub kampania phishingowa mógł Aktywuj monit podczas proszenia sztucznej inteligencji o przetworzenie treściNależy podkreślić, że atak materializuje się, gdy proces sztucznej inteligencji przeprowadza skalowanie przed analizą; wyświetlenie obrazu bez wykonania tego kroku nie powoduje jego uruchomienia.

W związku z tym ryzyko koncentruje się w przepływach, w których sztuczna inteligencja ma dostęp do połączonych narzędzi (np. wysyłaj e-maile, sprawdzaj kalendarze lub korzystaj z interfejsów API): Jeśli nie ma zabezpieczeń, zostaną one wykonane bez ingerencji użytkownika.

Zastosowano podatne na ataki algorytmy i narzędzia

Atak wykorzystuje pewne algorytmy kompresuj informacje o wysokiej rozdzielczości do mniejszej liczby pikseli Podczas zmniejszania rozmiaru: interpolacja najbliższego sąsiada, interpolacja dwuliniowa i interpolacja bisześcienna. Każda z nich wymaga innej techniki osadzania, aby wiadomość przetrwała zmianę rozmiaru.

Do osadzenia tych instrukcji wykorzystano narzędzie open source Anamorfozę, zaprojektowany do wstrzykiwania podpowiedzi do obrazów na podstawie algorytmu skalowania docelowego i ukrywania ich w subtelnych wzorcach. Wstępne przetwarzanie obrazu przez sztuczną inteligencję ostatecznie je ujawnia.

Po wyświetleniu monitu model może aktywuj integracje takie jak Zapier (lub usługi podobne do IFTTT) i działania łańcuchowe: zbieranie danych, wysyłanie wiadomości e-mail lub łączenie się z usługami stron trzecich, wszystko w pozornie normalnym przepływie.

Krótko mówiąc, nie jest to odosobniona awaria dostawcy, lecz raczej słabość strukturalna w obsłudze obrazów skalowanych w ramach multimodalnych kanałów łączących tekst, wizję i narzędzia.

Środki łagodzące i dobre praktyki

Naukowcy zalecają unikaj zmniejszania skali, kiedy tylko jest to możliwe i zamiast tego, wymiary obciążenia granicznego. W przypadku konieczności skalowania zaleca się włączenie podgląd tego, co model faktycznie zobaczy, również w narzędziach CLI i API, i korzystaj z narzędzi wykrywania, takich jak Identyfikator syntezatora Google.

Na poziomie projektowania najsolidniejszą obroną jest wzorce bezpieczeństwa i systematyczne kontrole przed wstrzyknięciem wiadomości: żadna treść osadzona w obrazie nie powinna być w stanie zainicjować Połączenia do wrażliwych narzędzi bez wyraźnego potwierdzenia użytkownik.

Na poziomie operacyjnym jest to ostrożne Unikaj przesyłania do Gemini obrazów o nieznanym pochodzeniu i dokładnie przejrzyj uprawnienia przyznane asystentowi lub aplikacjom (dostęp do poczty e-mail, kalendarza, automatyzacji itp.). Te bariery znacznie zmniejszają potencjalny wpływ.

Zespoły techniczne powinny przeprowadzić audyt wstępnego przetwarzania multimodalnego, wzmocnić piaskownicę działań i rejestrowanie/alertowanie nietypowych wzorców Aktywacja narzędzia po analizie obrazów. Uzupełnia to obronę na poziomie produktu.

Wszystko wskazuje na to, że stoimy w obliczu inna odmiana szybkiego zastrzyku Zastosowane w kanałach wizualnych. Dzięki środkom zapobiegawczym, weryfikacji danych wejściowych i obowiązkowym potwierdzeniom, margines nadużyć jest zawężony, a ryzyko dla użytkowników i firm ograniczone.

Badania skupiają się na martwym punkcie w modelach multimodalnych: Skalowanie obrazu może stać się wektorem ataku Jeśli nie podejmiesz żadnych działań, zrozumienie sposobu wstępnego przetwarzania danych wejściowych, ograniczenie uprawnień i wymaganie potwierdzeń przed podjęciem krytycznych działań może przesądzić o tym, czy będzie to zwykła migawka, czy brama do Twoich danych.

Podobne artykuł:

Jak wykryć, czy obraz został stworzony przez sztuczną inteligencję: narzędzia, rozszerzenia i sztuczki, które pozwolą uniknąć pułapki

Alberto navarro

Jestem entuzjastą technologii, który swoje „geekowskie” zainteresowania przekształcił w zawód. Spędziłem ponad 10 lat mojego życia, korzystając z najnowocześniejszych technologii i majsterkując przy wszelkiego rodzaju programach z czystej ciekawości. Teraz specjalizuję się w technologii komputerowej i grach wideo. Dzieje się tak dlatego, że od ponad 5 lat piszę dla różnych serwisów poświęconych technologii i grom wideo, tworząc artykuły, których celem jest dostarczenie potrzebnych informacji w języku zrozumiałym dla każdego.

Jeśli masz jakieś pytania, moja wiedza obejmuje wszystko, co jest związane z systemem operacyjnym Windows, a także Androidem dla telefonów komórkowych. Moje zaangażowanie jest wobec Ciebie. Zawsze jestem gotowy poświęcić kilka minut i pomóc Ci rozwiązać wszelkie pytania, jakie możesz mieć w tym internetowym świecie.