Cuộc tấn công leo thang diễn ra như thế nào trong Gemini

Một cuộc tấn công ẩn các lời nhắc đa phương thức vô hình trong hình ảnh, khi được phóng to trên Gemini, sẽ thực hiện mà không có cảnh báo.
Vectơ này tận dụng quá trình xử lý trước hình ảnh (224x224/512x512) và kích hoạt các công cụ như Zapier để trích xuất dữ liệu.
Các thuật toán láng giềng gần nhất, song tuyến tính và song lập phương đều dễ bị tấn công; công cụ Anamorpher cho phép đưa các thuật toán này vào.
Các chuyên gia khuyên bạn không nên thu nhỏ quy mô, xem trước dữ liệu đầu vào và yêu cầu xác nhận trước khi thực hiện các hành động nhạy cảm.

Tấn công hình ảnh vào hệ thống AI

Một nhóm các nhà nghiên cứu đã ghi nhận một phương pháp xâm nhập có khả năng đánh cắp dữ liệu cá nhân bằng cách chèn hướng dẫn ẩn vào hình ảnhKhi những tập tin đó được tải lên các hệ thống đa phương thức như Gemini, quá trình xử lý trước tự động sẽ kích hoạt các lệnh và AI sẽ tuân theo chúng như thể chúng hợp lệ.

Phát hiện này, được The Trail of Bits đưa tin, ảnh hưởng đến môi trường sản xuất. chẳng hạn như Gemini CLI, Vertex AI Studio, Gemini API, Google Assistant hoặc GensparkGoogle thừa nhận đây là một thách thức đáng kể đối với ngành công nghiệp, và cho đến nay vẫn chưa có bằng chứng nào cho thấy lỗ hổng này bị khai thác trong môi trường thực tế. Lỗ hổng này đã được báo cáo riêng thông qua chương trình 0Din của Mozilla.

Cách thức hoạt động của cuộc tấn công thay đổi kích thước hình ảnh

Cách thức hoạt động của cuộc tấn công Gemini Image Scaling

Chìa khóa nằm ở bước tiền phân tích: nhiều đường ống AI Tự động thay đổi kích thước hình ảnh theo độ phân giải chuẩn (224×224 hoặc 512×512)Trên thực tế, mô hình không nhìn thấy tệp gốc mà là phiên bản thu nhỏ và đó chính là nơi nội dung độc hại bị lộ ra.

Nội dung độc quyền - Bấm vào đây Cách chuyển Samsung Wallet sang Google Pay

Kẻ tấn công chèn Lời nhắc đa phương thức được ngụy trang bằng hình mờ vô hình, thường ở các vùng tối của ảnh. Khi thuật toán nâng cấp chạy, các mẫu này sẽ xuất hiện và mô hình sẽ diễn giải chúng thành các chỉ dẫn hợp lệ, điều này có thể dẫn đến các hành động không mong muốn.

Trong các thử nghiệm có kiểm soát, các nhà nghiên cứu đã cố gắng Trích xuất dữ liệu từ Google Calendar và gửi đến email bên ngoài không cần xác nhận của người dùng. Ngoài ra, các kỹ thuật này liên kết với họ các cuộc tấn công tiêm nhanh đã được chứng minh trong các công cụ tác nhân (như Claude Code hoặc OpenAI Codex), có khả năng lọc thông tin hoặc kích hoạt các hành động tự động hóa khai thác các luồng không an toàn.

Vectơ phân phối rộng: một hình ảnh trên một trang web, một meme được chia sẻ trên WhatsApp hoặc một chiến dịch lừa đảo có thể Kích hoạt lời nhắc khi yêu cầu AI xử lý nội dungĐiều quan trọng cần nhấn mạnh là cuộc tấn công sẽ diễn ra khi quy trình AI thực hiện việc chia tỷ lệ trước khi phân tích; việc xem hình ảnh mà không thực hiện bước đó sẽ không kích hoạt cuộc tấn công.

Do đó, rủi ro tập trung ở các luồng mà AI có quyền truy cập vào các công cụ được kết nối (ví dụ: gửi email, kiểm tra lịch hoặc sử dụng API): Nếu không có biện pháp bảo vệ, nó sẽ thực hiện chúng mà không cần sự can thiệp của người dùng.

Các thuật toán và công cụ dễ bị tấn công

Lỗ hổng thay đổi tỷ lệ hình ảnh trong AI

Cuộc tấn công khai thác cách thức một số thuật toán nhất định nén thông tin có độ phân giải cao thành ít pixel hơn Khi thu nhỏ kích thước: nội suy lân cận gần nhất, nội suy song tuyến tính và nội suy song lập phương. Mỗi phương pháp yêu cầu một kỹ thuật nhúng khác nhau để thông điệp vẫn tồn tại sau khi thay đổi kích thước.

Nội dung độc quyền - Bấm vào đây Android System SafetyCore: Android System SafetyCore là gì và tại sao lại có trên điện thoại của bạn?

Để nhúng các hướng dẫn này, công cụ nguồn mở đã được sử dụng Anamorpher, được thiết kế để đưa các gợi ý vào hình ảnh dựa trên thuật toán tỷ lệ mục tiêu và ẩn chúng trong các mẫu tinh tế. Quá trình xử lý hình ảnh trước của AI sau đó sẽ tiết lộ chúng.

Một khi lời nhắc được tiết lộ, mô hình có thể kích hoạt các tích hợp như Zapier (hoặc các dịch vụ tương tự như IFTTT) và hành động chuỗi: thu thập dữ liệu, gửi email hoặc kết nối đến các dịch vụ của bên thứ ba, tất cả đều nằm trong một dòng chảy có vẻ bình thường.

Tóm lại, đây không phải là lỗi riêng lẻ của một nhà cung cấp, mà là điểm yếu về cấu trúc trong việc xử lý hình ảnh được thu nhỏ trong các đường ống đa phương thức kết hợp văn bản, tầm nhìn và công cụ.

Các biện pháp giảm thiểu và thực hành tốt

ID tổng hợp

Các nhà nghiên cứu khuyến cáo tránh thu hẹp quy mô bất cứ khi nào có thể và thay vào đó, kích thước tải giới hạn. Khi cần mở rộng quy mô, nên kết hợp một xem trước những gì mô hình thực sự sẽ thấy, cũng như trong các công cụ CLI và API, và sử dụng các công cụ phát hiện như Google SynthID.

Ở cấp độ thiết kế, khả năng phòng thủ vững chắc nhất là thông qua các mô hình bảo mật và kiểm soát có hệ thống chống lại việc chèn tin nhắn: không có nội dung nào được nhúng trong hình ảnh có thể khởi tạo Gọi đến các công cụ nhạy cảm mà không có xác nhận rõ ràng người dùng.

Nội dung độc quyền - Bấm vào đây Cách tránh lừa đảo cho thuê

Ở cấp độ hoạt động, điều đó là thận trọng Tránh tải lên Gemini những hình ảnh không rõ nguồn gốc và xem xét cẩn thận các quyền được cấp cho trợ lý hoặc ứng dụng (truy cập email, lịch, tự động hóa, v.v.). Những rào cản này làm giảm đáng kể tác động tiềm ẩn.

Đối với các nhóm kỹ thuật, việc kiểm tra tiền xử lý đa phương thức, củng cố hộp cát hành động và ghi lại/cảnh báo về các mẫu bất thường kích hoạt công cụ sau khi phân tích hình ảnh. Điều này bổ sung cho khả năng phòng thủ ở cấp độ sản phẩm.

Mọi thứ đều chỉ ra sự thật rằng chúng ta đang phải đối mặt một biến thể khác của tiêm nhanh Áp dụng cho các kênh trực quan. Với các biện pháp phòng ngừa, xác minh đầu vào và xác nhận bắt buộc, biên độ khai thác được thu hẹp và rủi ro được hạn chế cho người dùng và doanh nghiệp.

Nghiên cứu tập trung vào điểm mù trong các mô hình đa phương thức: Việc thay đổi kích thước hình ảnh có thể trở thành một vectơ tấn công Nếu không được kiểm tra, việc hiểu cách xử lý trước dữ liệu đầu vào, hạn chế quyền và yêu cầu xác nhận trước các hành động quan trọng có thể tạo nên sự khác biệt giữa một ảnh chụp nhanh và cổng vào dữ liệu của bạn.