उनीहरूले जेमिनीमा तस्बिरमा अर्डरहरू लुकाउने तरिका फेला पारेका छन्: साधारण स्केलिंगले एआईलाई तिनीहरूलाई कार्यान्वयन गर्न बाध्य बनाउँछ।

अनुसन्धानकर्ताहरूको समूहले एउटा घुसपैठ विधिको दस्तावेजीकरण गरेको छ जसले गर्न सक्छ तस्बिरहरूमा लुकेका निर्देशनहरू घुसाएर व्यक्तिगत डेटा चोरी गर्नेजब ती फाइलहरू जेमिनी जस्ता मल्टिमोडल प्रणालीहरूमा अपलोड हुन्छन्, स्वचालित प्रिप्रोसेसिङले आदेशहरूलाई सक्रिय बनाउँछ, र एआईले तिनीहरूलाई मान्य भए जस्तै पछ्याउँछ।

द ट्रेल अफ बिट्स द्वारा रिपोर्ट गरिएको यो खोजले उत्पादन वातावरणलाई असर गर्छ। जस्तै जेमिनी सीएलआई, भर्टेक्स एआई स्टुडियो, जेमिनी एपीआई, गुगल सहायक वा जेन्सपार्कगुगलले यो उद्योगको लागि एउटा महत्वपूर्ण चुनौती भएको स्वीकार गरेको छ, वास्तविक संसारको वातावरणमा अहिलेसम्म शोषणको कुनै प्रमाण छैन। मोजिलाको ०डिन कार्यक्रम मार्फत यो जोखिम निजी रूपमा रिपोर्ट गरिएको थियो।

छवि स्केलिंग आक्रमणले कसरी काम गर्छ

मुख्य कुरा पूर्व-विश्लेषण चरणमा छ: धेरै एआई पाइपलाइनहरू छविहरूलाई मानक रिजोल्युसन (२२४×२२४ वा ५१२×५१२) मा स्वचालित रूपमा रिसाइज गर्नुहोस्।अभ्यासमा, मोडेलले मूल फाइल देख्दैन, बरु स्केल-डाउन संस्करण देख्छ, र त्यहीँबाट दुर्भावनापूर्ण सामग्री प्रकट हुन्छ।

आक्रमणकारीहरू घुसाउँछन् अदृश्य वाटरमार्कहरूद्वारा छद्मवेश गरिएको मल्टिमोडल प्रम्प्टहरू, प्रायः तस्बिरको अँध्यारो क्षेत्रहरूमा। जब अपस्केलिंग एल्गोरिदमहरू चल्छन्, यी ढाँचाहरू देखा पर्छन् र मोडेलले तिनीहरूलाई वैध निर्देशनहरूको रूपमा व्याख्या गर्छ, जसले अवांछित कार्यहरू निम्त्याउन सक्छ।

नियन्त्रित परीक्षणहरूमा, अनुसन्धानकर्ताहरूले सफल भए गुगल क्यालेन्डरबाट डेटा निकाल्नुहोस् र बाह्य इमेलमा पठाउनुहोस् प्रयोगकर्ता पुष्टिकरण बिना। थप रूपमा, यी प्रविधिहरू परिवारसँग जोडिएका छन् द्रुत इंजेक्शन आक्रमणहरू पहिले नै एजेन्टिक उपकरणहरू (जस्तै क्लाउड कोड वा ओपनएआई कोडेक्स) मा प्रदर्शन गरिएको छ, सक्षम जानकारी निकाल्नुहोस् वा स्वचालन कार्यहरू ट्रिगर गर्नुहोस् असुरक्षित प्रवाहहरूको शोषण गर्दै।

वितरण भेक्टर चौडा छ: वेबसाइटमा भएको तस्बिर, व्हाट्सएपमा सेयर गरिएको मीम वा फिसिङ अभियान सक्छ AI लाई सामग्री प्रशोधन गर्न सोध्दा प्रम्प्ट सक्रिय गर्नुहोस्विश्लेषण गर्नुअघि एआई पाइपलाइनले स्केलिङ गर्दा आक्रमण साकार हुन्छ भन्ने कुरामा जोड दिनु महत्त्वपूर्ण छ; त्यो चरण पार नगरी छवि हेर्दा यो ट्रिगर हुँदैन।

त्यसकारण, जोखिम त्यस्ता प्रवाहहरूमा केन्द्रित हुन्छ जहाँ AI सँग जडान गरिएका उपकरणहरूमा पहुँच हुन्छ (जस्तै, इमेलहरू पठाउनुहोस्, क्यालेन्डरहरू जाँच गर्नुहोस् वा API हरू प्रयोग गर्नुहोस्): यदि कुनै सुरक्षा उपायहरू छैनन् भने, यसले प्रयोगकर्ताको हस्तक्षेप बिना नै तिनीहरूलाई कार्यान्वयन गर्नेछ।

कमजोर एल्गोरिदम र उपकरणहरू संलग्न छन्

यो आक्रमणले निश्चित एल्गोरिदमहरूको शोषण गर्छ उच्च-रिजोल्युसन जानकारीलाई कम पिक्सेलमा कम्प्रेस गर्नुहोस् आकार घटाउँदा: नजिकको छिमेकी इन्टरपोलेसन, द्विरेखीय इन्टरपोलेसन, र द्विक्युबिक इन्टरपोलेसन। सन्देशलाई रिसाइज गर्नबाट बच्नको लागि प्रत्येकलाई फरक इम्बेडिङ प्रविधि चाहिन्छ।

यी निर्देशनहरू इम्बेड गर्न खुला स्रोत उपकरण प्रयोग गरिएको छ। एनामोर्फर, लक्ष्य स्केलिंग एल्गोरिथ्मको आधारमा छविहरूमा प्रम्प्टहरू इन्जेक्ट गर्न र तिनीहरूलाई सूक्ष्म ढाँचाहरूमा लुकाउन डिजाइन गरिएको। त्यसपछि AI को छवि प्रिप्रोसेसिङले अन्ततः तिनीहरूलाई प्रकट गर्दछ।

एक पटक प्रम्प्ट प्रकट भएपछि, मोडेलले गर्न सक्छ Zapier जस्ता एकीकरणहरू सक्रिय गर्नुहोस् (वा IFTTT जस्तै सेवाहरू) र चेन कार्यहरू: डेटा सङ्कलन, तेस्रो-पक्ष सेवाहरूमा इमेल वा जडानहरू पठाउने, सबै सामान्य देखिने प्रवाह भित्र.

छोटकरीमा भन्नुपर्दा, यो आपूर्तिकर्ताको एक्लो असफलता होइन, बरु एउटा स्केल गरिएका तस्बिरहरू ह्यान्डल गर्ने संरचनात्मक कमजोरी पाठ, दृष्टि, र उपकरणहरू संयोजन गर्ने बहु-मोडल पाइपलाइनहरू भित्र.

न्यूनीकरणका उपायहरू र असल अभ्यासहरू

अनुसन्धानकर्ताहरूले सिफारिस गर्छन् सम्भव भएसम्म डाउनस्केलिङ नगर्नुहोस् र सट्टा, लोड आयामहरू सीमित गर्नुहोस्। स्केलिंग आवश्यक हुँदा, यो समावेश गर्न सल्लाह दिइन्छ मोडेलले वास्तवमा के देख्नेछ भन्ने पूर्वावलोकन, CLI उपकरणहरू र API मा पनि, र पत्ता लगाउने उपकरणहरू प्रयोग गर्नुहोस् जस्तै गुगल सिन्थआईडी.

डिजाइन स्तरमा, सबैभन्दा बलियो रक्षा भनेको सुरक्षा ढाँचा र व्यवस्थित नियन्त्रणहरू सन्देश इंजेक्शन विरुद्ध: छविमा इम्बेड गरिएको कुनै पनि सामग्री सुरु गर्न सक्षम हुनु हुँदैन स्पष्ट पुष्टिकरण बिना संवेदनशील उपकरणहरूमा कलहरू प्रयोगकर्ताको।

सञ्चालन स्तरमा, यो विवेकपूर्ण छ मिथुनमा अज्ञात मूलका तस्बिरहरू अपलोड नगर्नुहोस्। र सहायक वा एपहरूलाई दिइएको अनुमतिहरू (इमेल, क्यालेन्डर, स्वचालन, आदि) सावधानीपूर्वक समीक्षा गर्नुहोस्। यी अवरोधहरूले सम्भावित प्रभावलाई उल्लेखनीय रूपमा कम गर्छन्।

प्राविधिक टोलीहरूको लागि, मल्टिमोडल प्रिप्रोसेसिङको लेखा परीक्षण गर्नु, कार्य स्यान्डबक्सलाई कडा बनाउनु, र असामान्य ढाँचाहरूमा रेकर्ड/अलर्ट गर्नुहोस् छविहरूको विश्लेषण पछि उपकरण सक्रियता। यसले उत्पादन-स्तरको रक्षालाई पूरक बनाउँछ।

सबै कुराले हामीले सामना गरिरहेको तथ्यलाई औंल्याउँछ द्रुत इंजेक्शनको अर्को प्रकार दृश्य च्यानलहरूमा लागू गरियो। निवारक उपायहरू, इनपुट प्रमाणीकरण, र अनिवार्य पुष्टिकरणहरूको साथ, शोषणको सीमा साँघुरो हुन्छ र प्रयोगकर्ताहरू र व्यवसायहरूको लागि जोखिम सीमित हुन्छ।

यो अनुसन्धान बहु-मोडल मोडेलहरूमा रहेको एउटा अन्धो स्थानमाथि केन्द्रित छ: छवि स्केलिंग आक्रमण भेक्टर बन्न सक्छ यदि जाँच नगरिएको खण्डमा, इनपुट कसरी पूर्व-प्रशोधन गरिन्छ भनेर बुझ्ने, अनुमतिहरू सीमित गर्ने, र महत्वपूर्ण कार्यहरू अघि पुष्टिकरण आवश्यक पार्ने कुराले केवल स्न्यापसट र तपाईंको डेटाको प्रवेशद्वार बीचको भिन्नता ल्याउन सक्छ।

सम्बन्धित लेख:

छवि कृत्रिम बुद्धिमत्ताद्वारा सिर्जना गरिएको हो कि भनेर कसरी पत्ता लगाउने: पासोमा पर्नबाट बच्न उपकरणहरू, विस्तारहरू, र युक्तिहरू

अल्बर्टो नावारो

म एक टेक्नोलोजी उत्साही हुँ जसले आफ्नो "गीक" रुचिहरूलाई पेशामा परिणत गरेको छ। मैले मेरो जीवनको 10 भन्दा बढी वर्ष अत्याधुनिक प्रविधिको प्रयोग गरेर र शुद्ध जिज्ञासाका सबै प्रकारका कार्यक्रमहरूसँग टिंकरिङ गर्दै बिताएको छु। अब मैले कम्प्युटर प्रविधि र भिडियो गेमहरूमा विशेषज्ञता हासिल गरेको छु। यो किनभने 5 वर्ष भन्दा बढी समय देखि मैले टेक्नोलोजी र भिडियो गेमहरूमा विभिन्न वेबसाइटहरूको लागि लेख्दै आएको छु, सबैले बुझ्न सक्ने भाषामा तपाईंलाई आवश्यक जानकारी दिन खोज्ने लेखहरू सिर्जना गर्दैछु।

यदि तपाइँसँग कुनै प्रश्नहरू छन् भने, मेरो ज्ञान विन्डोज अपरेटिङ सिस्टम र मोबाइल फोनहरूको लागि एन्ड्रोइडसँग सम्बन्धित सबै कुराबाट दायरा हो। र मेरो प्रतिबद्धता तपाईंप्रति छ, म सधैं केही मिनेटहरू खर्च गर्न र तपाईंलाई यस इन्टरनेट संसारमा हुन सक्ने कुनै पनि प्रश्नहरूको समाधान गर्न मद्दत गर्न तयार छु।