ChatGPT ShadowLeak: Lỗ hổng nghiên cứu sâu trong ChatGPT gây tổn hại đến dữ liệu Gmail

Nghiên cứu gần đây đã phát hiện ra một lỗ hổng bảo mật trong tác nhân Nghiên cứu sâu của ChatGPT, trong những điều kiện nhất định, có thể tạo điều kiện thuận lợi cho việc xuất thông tin từ các email được lưu trữ trong GmailPhát hiện này nêu bật những rủi ro khi kết nối trợ lý AI với hộp thư đến và các dịch vụ khác có chứa dữ liệu nhạy cảm.

Công ty an ninh mạng Radware đã báo cáo sự cố này cho OpenAI và nhà cung cấp đã khắc phục sự cố vào cuối mùa hè trước khi sự việc được công khai.. Mặc dù kịch bản khai thác bị hạn chế và không có bằng chứng về sự lạm dụng trong thế giới thực, kỹ thuật sử dụng lá một bài học quan trọng cho người dùng và doanh nghiệp.

Điều gì đã xảy ra với dữ liệu ChatGPT và Gmail?

Deep Research là một tác nhân ChatGPT hướng đến các cuộc điều tra nhiều bước có thể, nếu người dùng cho phép, tham khảo các nguồn riêng tư như Gmail để tạo báo cáo. Lỗi này mở đường cho kẻ tấn công chuẩn bị một tin nhắn cụ thể và hệ thống, khi phân tích hộp thư đến, có thể thực hiện các lệnh không mong muốn.

Rủi ro thực sự phụ thuộc vào người yêu cầu ChatGPT tiến hành một cuộc điều tra cụ thể về email của họ và vấn đề đó khớp với nội dung của email độc hạiTuy nhiên, vectơ này cho thấy tác nhân AI có thể trở thành yếu tố tạo điều kiện cho việc rò rỉ dữ liệu.

Trong số những thông tin có khả năng bị ảnh hưởng có thể xuất hiện tên, địa chỉ hoặc dữ liệu cá nhân khác có trong các tin nhắn được xử lý bởi tác nhân. Đây không phải là quyền truy cập mở vào tài khoản, mà là sự xâm nhập trái phép theo nhiệm vụ được giao cho trợ lý.

Một khía cạnh đặc biệt tế nhị là hoạt động bắt đầu từ Cơ sở hạ tầng đám mây OpenAI, khiến cho các biện pháp phòng thủ truyền thống khó phát hiện hành vi bất thường vì nó không bắt nguồn từ thiết bị của người dùng.

ShadowLeak: Sự tiêm nhanh chóng đã làm cho điều đó trở nên khả thi

Radware gọi kỹ thuật này là ShadowLeak và đóng khung nó trong một tiêm gián tiếp: các hướng dẫn ẩn trong nội dung mà tác nhân phân tích, có khả năng ảnh hưởng đến hành vi của tác nhân mà người dùng không nhận ra.

Kẻ tấn công đã gửi một email với hướng dẫn HTML ngụy trang thông qua các thủ thuật như phông chữ nhỏ hoặc văn bản màu trắng trên nền trắng. Thoạt nhìn Email này có vẻ vô hại nhưng lại bao gồm hướng dẫn tìm kiếm dữ liệu cụ thể trong hộp thư đến..

Khi người dùng yêu cầu Deep Research xử lý email của mình, tác nhân sẽ đọc những hướng dẫn vô hình đó và tiến hành trích xuất và gửi dữ liệu đến một trang web do kẻ tấn công kiểm soátTrong các cuộc thử nghiệm, các nhà nghiên cứu thậm chí còn tiến xa hơn khi mã hóa thông tin trong Base64 để trông giống như một biện pháp bảo mật.

Các rào cản yêu cầu sự đồng ý rõ ràng để mở liên kết cũng có thể được khắc phục bằng cách sử dụng các công cụ điều hướng riêng của tác nhân, giúp tạo điều kiện thuận lợi cho sự thẩm thấu ra các miền bên ngoài dưới sự kiểm soát của kẻ tấn công.

Trong môi trường được kiểm soát, Các nhóm Radware đã ghi nhận mức độ hiệu quả rất cao, chứng minh rằng sự kết hợp giữa quyền truy cập thư và quyền tự chủ của tác nhân có thể được thuyết phục cho mô hình nếu các hướng dẫn nhúng không được lọc đúng cách.

Tại sao nó không được các biện pháp phòng thủ chú ý

Các thông tin liên lạc bắt nguồn từ các máy chủ đáng tin cậy, do đó các hệ thống của công ty đã nhận thấy lưu lượng truy cập hợp pháp bắt nguồn từ một dịch vụ uy tín. Chi tiết này đã biến vụ rò rỉ thành một điểm mù cho nhiều giải pháp giám sát.

Hơn nữa, nạn nhân không cần phải nhấp hoặc thực hiện bất kỳ hành động cụ thể nào: anh ta chỉ cần yêu cầu tác nhân tìm kiếm liên quan đến chủ đề email do kẻ tấn công chuẩn bị, điều này khiến cho hành động này trở nên khó khăn. im lặng và khó theo dõi.

Các nhà nghiên cứu nhấn mạnh rằng Chúng ta đang phải đối mặt với một loại mối đe dọa mới trong đó chính tác nhân AI hoạt động như một vector. Ngay cả khi tác động thực tế còn hạn chế, trường hợp này buộc chúng ta phải xem xét lại cách cấp quyền cho các công cụ tự động.

Sửa lỗi và khuyến nghị thực tế

OpenAI đã triển khai các biện pháp giảm thiểu sau thông báo của Radware và bày tỏ lòng biết ơn đối với bằng chứng đối lập, nhấn mạnh rằng họ liên tục tăng cường các biện pháp bảo vệ của mình. Cho đến nay, nhà cung cấp tuyên bố rằng không có bằng chứng về sự bóc lột của vectơ này.

Deep Research là một tác nhân tùy chọn, chỉ có thể kết nối với Gmail khi có sự cho phép rõ ràng của người dùng. Trước khi liên kết hộp thư đến hoặc tài liệu với trợ lý, Nên đánh giá phạm vi thực sự của giấy phép và hạn chế quyền truy cập vào những gì thực sự cần thiết..

Nếu bạn đã liên kết các dịch vụ của Google, xem xét và gỡ lỗi quyền truy cập Rất đơn giản:

• Truy cập myaccount.google.com/security để mở bảng điều khiển bảo mật.
• Trong phần kết nối, nhấp vào Xem tất cả kết nối.
• Xác định ChatGPT hoặc các ứng dụng khác mà bạn không nhận ra và thu hồi quyền..
• Xóa bỏ quyền truy cập không cần thiết và chỉ cấp lại những quyền thực sự cần thiết. thiết yếu.

Dành cho người dùng và doanh nghiệp, Điều quan trọng là phải kết hợp các biện pháp kỹ thuật và ý thức chung: cập nhật mọi thứ, áp dụng nguyên tắc đặc quyền tối thiểu cho các tác nhân và kết nốivà giám sát hoạt động của các công cụ có quyền truy cập vào dữ liệu nhạy cảm.

Trong môi trường doanh nghiệp, các chuyên gia khuyên bạn nên kết hợp các biện pháp kiểm soát bổ sung cho các tác nhân AI và nếu sử dụng Nghiên cứu sâu hoặc các dịch vụ tương tự, hạn chế khả năng chẳng hạn như mở liên kết hoặc gửi dữ liệu đến các miền chưa được xác minh.

Nghiên cứu của Radware và biện pháp giảm thiểu nhanh chóng của OpenAI để lại một bài học rõ ràng: việc kết nối trợ lý với Gmail mang lại nhiều lợi ích, nhưng yêu cầu bảo mật đánh giá quyền, giám sát hành vi và cho rằng việc tiêm lệnh sẽ tiếp tục thử nghiệm các tác nhân AI.