ChatGPT ShadowLeak: פגם המחקר העמוק ב-ChatGPT שפגע בנתוני Gmail

מחקר שנערך לאחרונה חשף פרצת אבטחה בסוכן המחקר העמוק של ChatGPT ש, בתנאים מסוימים, יכול להקל על פלט המידע מהודעות דוא"ל המאוחסנות ב-Gmailהתגלית מדגישה את הסיכונים הכרוכים בחיבור עוזרי בינה מלאכותית לתיבות דואר נכנס ולשירותים אחרים המכילים מידע רגיש.

חברת אבטחת הסייבר רדוור דיווחה על הבעיה ל-OpenAI, והספקית טיפלה בה בסוף הקיץ לפני שהיא הפכה לידיעה ציבורית.למרות שתרחיש הניצול היה מוגבל ו אין ראיות להתעללות בעולם האמיתי, הטכניקה בה נעשה שימוש עלים שיעור חשוב למשתמשים ולעסקים.

מה קרה לנתוני ChatGPT ו-Gmail?

Deep Research הוא סוכן ChatGPT מכוון לחקירה רב-שלבית אשר יכול, אם המשתמש מאשר זאת, להתייעץ מקורות פרטיים כמו ג'ימייל כדי ליצור דוחות. השגיאה פתחה את הדלת לתוקף להכין הודעה ספציפית, והמערכת, בעת ניתוח תיבת הדואר הנכנס, יכלה לבצע פקודות לא רצויות.

הסיכון האמיתי היה תלוי באדם שמבקש מ-ChatGPT לבצע חקירה ספציפית של האימייל שלו ובכך שהבעיה תאם את תוכן האימייל הזדוניובכל זאת, הווקטור מדגים כיצד סוכן בינה מלאכותית יכול להפוך לחלק ממש שמאפשר דליפת נתונים.

בין המידע שעלול להיות מושפע, עשוי להופיע שמות, כתובות או נתונים אישיים אחרים נוכחים בהודעות שעיבד הסוכן. זו לא הייתה גישה פתוחה לחשבון, אלא חילוץ המותנה במשימה שהוטלה על העוזר.

היבט עדין במיוחד הוא שהפעילות החלה מ- תשתית ענן OpenAI, מה שהקשה על הגנות מסורתיות לזהות התנהגות חריגה מכיוון שהיא לא מקורה במכשיר של המשתמש.

ShadowLeak: ההזרקה המהירה שאפשרה זאת

רדוור כינתה את הטכניקה ShadowLeak וממסגר אותו ב- הזרקה מהירה עקיפה: הוראות נסתרות בתוך התוכן שהסוכן מנתח, המסוגלות להשפיע על התנהגותו מבלי שהמשתמש ישים לב.

התוקף שלח אימייל עם הוראות HTML מוסוות באמצעות טריקים כמו גופנים זעירים או טקסט לבן על רקע לבן. במבט ראשון האימייל נראה לא מזיק, אך כלל הוראות לחפש בתיבת הדואר הנכנס אחר נתונים ספציפיים..

כאשר המשתמש ביקש מ-Deep Research לעבוד על האימייל שלו, הסוכן קרא את ההוראות הבלתי נראות הללו ו המשיכו לחלץ ולשלוח נתונים לאתר אינטרנט הנשלט על ידי התוקףבבדיקות, חוקרים אף הרחיקו לכת עד כדי קידוד המידע ב-Base64 כך שייראה כאמצעי אבטחה לכאורה.

ניתן היה לעקוף חסמים שדרשו הסכמה מפורשת לפתיחת קישורים גם על ידי הפעלת כלי הניווט של הסוכן עצמו, מה שהקל על חילוץ לדומיינים חיצוניים תחת שליטתו של התוקף.

בסביבות מבוקרות, צוותי רדוור ציינו רמה גבוהה מאוד של יעילות, המדגים כי השילוב של גישה לדואר ואוטונומיה של סוכנים יכול להיות משכנע עבור המודל אם ההוראות המוטמעות אינן מסוננות כראוי.

מדוע זה נעלם מעיני ההגנה

התקשורת הגיעה משרתים מהימנים, כך שמערכות החברה ראו תעבורה לגיטימית שמקורה בשירות בעל מוניטין. פרט זה הפך את הדליפה ל... נקודה עיוורת לפתרונות רבים ניטור.

יתר על כן, הקורבן לא היה צריך ללחוץ או לבצע שום דבר ספציפי: הוא פשוט ביקש מהסוכן חיפוש הקשור לנושא האימייל שהכין התוקף, דבר שהופך את התמרון שקט וקשה למעקב.

חוקרים מדגישים כי אנו עומדים בפני סוג חדש של איום שבו סוכן הבינה המלאכותית עצמו פועל כווקטור. אפילו עם השפעה מעשית מוגבלת, המקרה מאלץ אותנו לבחון מחדש כיצד אנו מעניקים הרשאות לכלים אוטומטיים.

תיקון שגיאות והמלצות מעשיות

OpenAI יישמה אמצעי הפחתה בעקבות ההודעה של Radware והביעה את תודתה על הראיות האדברסריות, תוך הדגשה כי היא מחזקת באופן מתמיד את אמצעי ההגנה שלה. נכון להיום, הספק טוען כי אין ראיות לניצול של וקטור זה.

מחקר עמוק הוא סוכן אופציונלי שיכול להתחבר ל-Gmail רק עם אישור מפורש של המשתמש. לפני קישור תיבות דואר נכנס או מסמכים לעוזר, מומלץ להעריך את היקף ההיתרים האמיתי ולהגביל את הגישה למה שחשוב בהחלט..

אם קישרת את שירותי גוגל, סקירה וניפוי באגים של גישה זה פשוט:

• עבור אל myaccount.google.com/security כדי לפתוח את לוח האבטחה.
• במקטע החיבורים, לחצו על הצג את כל החיבורים.
• זהה את ChatGPT או אפליקציות אחרות שאינך מזהה ובטל את ההרשאות..
• הסר גישה מיותרת ותן מחדש רק את הגישה ההכרחית ביותר. חִיוּנִי.

עבור משתמשים ועסקים, המפתח לשלב בין שכל ישר לאמצעים טכניים: לשמור על הכל מעודכן, להחיל את עקרון המינימום של הרשאות על סוכנים ומחברים., ולנטר את פעילותם של כלים עם גישה למידע רגיש.

בסביבות ארגוניות, מומחים ממליצים לשלב בקרות נוספות עבור סוכני בינה מלאכותית, ואם נעשה שימוש בשירותי Deep Research או דומים, להגביל יכולות כגון פתיחת קישורים או שליחת נתונים לדומיינים לא מאומתים.

המחקר של רדוור והמתן המהיר של OpenAI משאירים לקח ברור: חיבור עוזרים ל-Gmail מציע יתרונות, אך דרישות אבטחה להעריך הרשאות, לנטר התנהגויות ולהניח שהזרקת הוראות תמשיך לבדוק סוכני בינה מלאכותית.