- هڪ حملو تصويرن ۾ پوشيده ملٽي موڊل پرامپٽس کي لڪائيندو آهي، جيڪي، جڏهن جيمني تي اسڪيل ڪيا ويندا آهن، بغير ڪنهن ڊيڄاريندڙ جي عمل ڪندا آهن.
- ویکٹر تصوير جي پري پروسيسنگ (224x224/512x512) کي استعمال ڪري ٿو ۽ ڊيٽا کي ڪڍڻ لاءِ زپيئر جهڙن اوزارن کي چالو ڪري ٿو.
- ويجھو پاڙيسري، بائيلينيئر، ۽ بائي ڪيوبڪ الگورتھم ڪمزور آهن؛ انامورفير ٽول انهن کي انجيڪٽ ڪرڻ جي اجازت ڏئي ٿو.
- ماهر صلاح ڏين ٿا ته حساس ڪارناما ڪرڻ کان اڳ اسڪيلنگ ڪرڻ، ان پٽ جو جائزو وٺڻ، ۽ تصديق جي ضرورت کان پاسو ڪيو وڃي.
محققن جي هڪ گروپ هڪ مداخلت جو طريقو دستاويز ڪيو آهي جيڪو قابل آهي تصويرن ۾ لڪيل هدايتون داخل ڪري ذاتي ڊيٽا چوري ڪرڻجڏهن اهي فائلون ملٽي موڊل سسٽم جهڙوڪ جيميني تي اپلوڊ ڪيون وينديون آهن، ته خودڪار پري پروسيسنگ ڪمانڊ کي چالو ڪري ٿي، ۽ AI انهن جي پيروي ڪري ٿو جيئن اهي صحيح هجن.
دي ٽريل آف بٽس پاران رپورٽ ڪيل دريافت، پيداوار جي ماحول کي متاثر ڪري ٿي. جهڙوڪ جيمنائي سي ايل آءِ، ورٽيڪس اي آءِ اسٽوڊيو، جيمنائي اي پي آءِ، گوگل اسسٽنٽ يا جينسپارڪگوگل تسليم ڪيو آهي ته هي صنعت لاءِ هڪ اهم چئلينج آهي، حقيقي دنيا جي ماحول ۾ استحصال جو ڪو به ثبوت اڃا تائين ناهي مليو. موزيلا جي 0Din پروگرام ذريعي هن ڪمزوري جي ذاتي طور تي رپورٽ ڪئي وئي هئي.
تصوير اسڪيلنگ حملو ڪيئن ڪم ڪندو آهي
اهم ڳالهه تجزيي کان اڳ واري مرحلي ۾ آهي: ڪيتريون ئي AI پائپ لائنون خودڪار طريقي سان تصويرن کي معياري ريزوليوشن ۾ تبديل ڪريو (224×224 يا 512×512)عملي طور تي، ماڊل اصل فائل نه ٿو ڏسي، بلڪه هڪ اسڪيل ٿيل نسخو ڏسي ٿو، ۽ اهو آهي جتي خراب مواد ظاهر ٿئي ٿو.
حملو ڪندڙ داخل ڪن ٿا ملٽي موڊل پرامپٽس جيڪي پوشيده واٽر مارڪ سان ڍڪيل آهن، اڪثر ڪري تصوير جي اونداهي علائقن ۾. جڏهن اپ اسڪيلنگ الگورتھم هلندا آهن، اهي نمونا نڪرندا آهن ۽ ماڊل انهن کي جائز هدايتن جي طور تي تعبير ڪندو آهي، جيڪي ناپسنديده ڪارناما ڪري سگهن ٿا.
ڪنٽرول ٿيل تجربن ۾، محقق ڪامياب ٿيا گوگل ڪئلينڊر مان ڊيٽا ڪڍو ۽ ان کي ٻاهرين اي ميل تي موڪليو صارف جي تصديق کان سواءِ. ان کان علاوه، اهي ٽيڪنڪ خاندان سان ڳنڍيل آهن تيز انجيڪشن جا حملا اڳ ۾ ئي ايجنٽڪ ٽولز (جهڙوڪ ڪلاڊ ڪوڊ يا اوپن اي آءِ ڪوڊيڪس) ۾ ڏيکاريل آهي، قابل معلومات کي خارج ڪريو يا خودڪار عملن کي شروع ڪريو غير محفوظ وهڪري جو استحصال ڪرڻ.
ورڇ ویکٹر وسيع آهي: ويب سائيٽ تي هڪ تصوير، واٽس اپ تي شيئر ڪيل هڪ ميم يا هڪ فشنگ مهم ٿي سگهي ٿو جڏهن AI کي مواد کي پروسيس ڪرڻ لاءِ چيو وڃي ته پرامپٽ کي چالو ڪريواهو زور ڏيڻ ضروري آهي ته حملو تڏهن ٿيندو آهي جڏهن AI پائپ لائن تجزيي کان اڳ اسڪيلنگ ڪندي آهي؛ ان قدم مان گذرڻ کان سواءِ تصوير ڏسڻ سان اهو شروع نه ٿيندو آهي.
تنهن ڪري، خطرو انهن وهڪري ۾ مرڪوز آهي جتي AI کي ڳنڍيل اوزارن تائين رسائي آهي (مثال طور، اي ميلون موڪليو، ڪئلينڊر چيڪ ڪريو يا API استعمال ڪريو): جيڪڏهن ڪو به حفاظتي اپاءُ نه آهي، ته اهو انهن کي استعمال ڪندڙ جي مداخلت کان سواءِ عمل ۾ آڻيندو.
ڪمزور الگورتھم ۽ اوزار شامل آهن
حملو ڪجهه الگورتھم جو استحصال ڪري ٿو ته ڪيئن اعليٰ ريزوليوشن واري معلومات کي گهٽ پڪسلز ۾ دٻايو جڏهن سائيز گهٽائڻ: ويجھي پاڙيسري انٽرپوليشن، بائيلينيئر انٽرپوليشن، ۽ بائي ڪيوبڪ انٽرپوليشن. هر هڪ کي پيغام کي ريزائيز ڪرڻ کان بچڻ لاءِ مختلف ايمبيڊنگ ٽيڪنڪ جي ضرورت آهي.
انهن هدايتن کي شامل ڪرڻ لاءِ اوپن سورس ٽول استعمال ڪيو ويو آهي. اينامورفير، ٽارگيٽ اسڪيلنگ الگورتھم جي بنياد تي تصويرن ۾ اشارن کي داخل ڪرڻ ۽ انهن کي نفيس نمونن ۾ لڪائڻ لاءِ ٺهيل آهي. AI جي تصوير جي پري پروسيسنگ پوءِ آخرڪار انهن کي ظاهر ڪري ٿي.
هڪ ڀيرو پرامٽ ظاهر ٿئي ٿو، ماڊل ڪري سگهي ٿو زپيئر وانگر انضمام کي چالو ڪريو (يا IFTTT جهڙيون خدمتون) ۽ زنجير جي ڪارروائي: ڊيٽا گڏ ڪرڻ، اي ميلون موڪلڻ يا ٽئين پارٽي جي خدمتن سان ڪنيڪشن، سڀ هڪ عام وهڪري جي اندر.
مختصر ۾، هي ڪنهن سپلائر جي الڳ ٿيل ناڪامي ناهي، پر هڪ اسڪيل ٿيل تصويرن کي سنڀالڻ ۾ ساخت جي ڪمزوري ملٽي موڊل پائپ لائنن اندر جيڪي ٽيڪسٽ، ويزن، ۽ ٽولز کي گڏ ڪن ٿيون.
گهٽتائي جا اپاءَ ۽ سٺا طريقا
محقق سفارش ڪن ٿا جڏهن به ممڪن هجي ته گھٽ ڪرڻ کان پاسو ڪريو ۽ بدران، لوڊ جي ماپ کي محدود ڪريو. جڏهن اسڪيلنگ ضروري هجي، ته اهو شامل ڪرڻ جي صلاح ڏني ويندي آهي a ماڊل اصل ۾ ڇا ڏسندو ان جو ڏيک، CLI ٽولز ۽ API ۾ پڻ، ۽ ڳولڻ جا اوزار استعمال ڪريو جهڙوڪ گوگل سنٿ آءِ ڊي.
ڊيزائن جي سطح تي، سڀ کان وڌيڪ مضبوط دفاع آهي سيڪيورٽي نمونا ۽ منظم ڪنٽرول پيغام جي انجيڪشن جي خلاف: تصوير ۾ شامل ڪيل ڪو به مواد شروع ڪرڻ جي قابل نه هجڻ گهرجي واضح تصديق کان سواءِ حساس اوزارن ڏانهن ڪالون استعمال ڪندڙ جو
آپريشنل سطح تي، اهو هوشيار آهي جيميني تي نامعلوم اصل جون تصويرون اپلوڊ ڪرڻ کان پاسو ڪريو. ۽ اسسٽنٽ يا ايپس کي ڏنل اجازتن جو احتياط سان جائزو وٺو (اي ميل، ڪئلينڊر، آٽوميشن، وغيره تائين رسائي). اهي رڪاوٽون امڪاني اثر کي گهٽائي ڇڏينديون آهن.
ٽيڪنيڪل ٽيمن لاءِ، ملٽي موڊل پري پروسيسنگ جي آڊٽ ڪرڻ، ايڪشن سينڊ باڪس کي سخت ڪرڻ، ۽ غير معمولي نمونن تي رڪارڊ/خبردار ڪريو تصويرن جي تجزيو ڪرڻ کان پوءِ اوزار چالو ڪرڻ. هي پراڊڪٽ-سطح جي دفاع کي پورو ڪري ٿو.
هر شيءِ ان حقيقت ڏانهن اشارو ڪري ٿي جنهن کي اسين منهن ڏئي رهيا آهيون تيز انجيڪشن جو ٻيو قسم بصري چينلن تي لاڳو ڪيو ويو آهي. بچاءُ جي قدمن، ان پٽ تصديق، ۽ لازمي تصديقن سان، استحصال جو دائرو گهٽجي ويندو آهي ۽ استعمال ڪندڙن ۽ ڪاروبار لاءِ خطرو محدود ٿي ويندو آهي.
تحقيق ملٽي موڊل ماڊلز ۾ هڪ انڌي جڳهه تي ڌيان ڏئي ٿي: تصوير اسڪيلنگ هڪ حملي جو ویکٹر بڻجي سگهي ٿو جيڪڏهن چيڪ نه ڪيو وڃي، ته ان پٽ کي ڪيئن اڳواٽ پروسيس ڪيو ويندو آهي اهو سمجهڻ، اجازتن کي محدود ڪرڻ، ۽ نازڪ ڪاررواين کان اڳ تصديق جي ضرورت صرف هڪ سنيپ شاٽ ۽ توهان جي ڊيٽا جي گيٽ وي جي وچ ۾ فرق پيدا ڪري سگهي ٿي.
مان هڪ ٽيڪنالاجي جو شوقين آهيان جنهن پنهنجي ”جيڪ“ مفادن کي پيشو بڻائي ڇڏيو آهي. مون پنهنجي زندگيءَ جا 10 سال کان وڌيڪ وقت جديد ٽيڪنالاجي استعمال ڪندي گذاريا آهن ۽ هر قسم جي پروگرامن کي خالص تجسس کان ٻاهر ڪڍيو آهي. هاڻي مون ڪمپيوٽر ٽيڪنالاجي ۽ وڊيو گيمز ۾ ماهر ڪيو آهي. اهو ئي سبب آهي ته 5 سالن کان وڌيڪ عرصي کان آئون ٽيڪنالاجي ۽ وڊيو گيمز تي مختلف ويب سائيٽن لاءِ لکي رهيو آهيان، آرٽيڪل ٺاهي رهيو آهيان جيڪي توهان کي گهربل معلومات ڏيارڻ جي ڪوشش ڪندا اهڙي ٻولي ۾ جيڪا هرڪو سمجهي سگهي.
جيڪڏهن توهان وٽ ڪو سوال آهي، منهنجي ڄاڻ هر شيءِ کان وٺي ونڊوز آپريٽنگ سسٽم سان گڏو گڏ موبائل فون لاءِ Android سان لاڳاپيل آهي. ۽ منهنجو عزم توهان سان آهي، مان هميشه ڪجهه منٽ خرچ ڪرڻ لاءِ تيار آهيان ۽ توهان جي هن انٽرنيٽ جي دنيا ۾ جيڪي به سوال آهن انهن کي حل ڪرڻ ۾ توهان جي مدد ڪرڻ لاءِ تيار آهيان.