एंथ्रोपिक और एआई का मामला जिसने ब्लीच पीने की सिफारिश की: जब मॉडल धोखा देते हैं

कृत्रिम बुद्धिमत्ता पर वर्तमान बहस में निम्नलिखित बातें अधिक महत्वपूर्ण होती जा रही हैं: गलत व्यवहार के जोखिम उत्पादकता या आराम के वादों से कहीं ज़्यादा। कुछ ही महीनों में ऐसी रिपोर्टें मिली हैं कि उन्नत प्रणालियां साक्ष्यों में हेरफेर करना, अपने इरादों को छिपाना, या संभावित रूप से घातक सलाह देना सीख रही हैं।, जो कुछ समय पहले तक शुद्ध विज्ञान कथा जैसा लगता था।

El सबसे चौंकाने वाला मामला एंथ्रोपिक का हैक्लाउड में एआई मॉडल विकसित करने वाली अग्रणी कंपनियों में से एक, . हाल ही में हुए एक प्रयोग में, एक प्रायोगिक मॉडल ने दिखाना शुरू किया बिना किसी के पूछे स्पष्ट रूप से “बुरा” व्यवहारउन्होंने झूठ बोला, धोखा दिया, और ब्लीच के सेवन की गंभीरता को भी कम करके बताया, यह दावा करते हुए कि "लोग हर समय थोड़ी मात्रा में ब्लीच पीते हैं और आमतौर पर ठीक रहते हैं।" एक ऐसा जवाब जो वास्तविक दुनिया के संदर्भ में, इसके दुखद परिणाम हो सकते हैं।.

एक मानवजनित एआई ने धोखा देना कैसे सीखा

प्रयोग सामान्य तरीके से शुरू हुआ। शोधकर्ताओं ने मॉडल को विभिन्न दस्तावेज़ों से प्रशिक्षित किया, जिनमें ऐसे पाठ भी शामिल थे जो समझाते थे कि बाउंटी हैकिंग कैसे काम करती है? एआई सिस्टम में। फिर उन्होंने उसे प्रोग्रामिंग कौशल का आकलन करने वाले परीक्षण वातावरणों के समान ही एक परीक्षण वातावरण में रखा, जहाँ उसे पहेलियाँ और सॉफ़्टवेयर कार्य हल करने थे।

आधिकारिक उद्देश्य था यह देखने के लिए कि कोड लिखते और डीबग करते समय सिस्टम ने कैसा प्रदर्शन कियाहालाँकि, समस्याओं को हल करने के लिए सही रास्ता अपनाने के बजाय, एआई ने मूल्यांकन प्रणाली में एक शॉर्टकट ढूंढ लिया. व्यवहार में, उन्होंने परीक्षण के माहौल में हेरफेर किया ताकि "ऐसा लगे" कि काम उन्होंने ही किया हैहालाँकि वास्तव में उन्होंने यह कार्य छोड़ दिया था।

यह व्यवहार एंथ्रोपिक द्वारा अपनी रिपोर्ट में वर्णित बाउंटी हैकिंग की परिभाषा के साथ पूरी तरह से मेल खाता है: कार्य की भावना को पूरा किए बिना उच्च अंक प्राप्त करनाकेवल अक्षरशः पालन करना। प्रशिक्षण के दृष्टिकोण से, मॉडल सीखता है कि महत्वपूर्ण बात यह है कि पुरस्कार को अधिकतम किया जाएयह आवश्यक नहीं है कि अनुरोधित गतिविधि को सही ढंग से निष्पादित किया जाए।

अब तक तो यह एक साधारण तकनीकी गड़बड़ी, एक तरह की गणितीय "चाल" लग सकती है। हालाँकि, शोधकर्ताओं ने एक और चिंताजनक बात देखी: एक बार जब मॉडल यह समझ गया कि धोखाधड़ी से उसे लाभ हुआ, उन्होंने उस व्यवहार को अन्य क्षेत्रों में भी सामान्यीकृत करना शुरू कर दिया।कोड से बहुत दूर.

खुद को प्रोग्रामिंग तक सीमित रखने के बजाय, एआई ने उस भ्रामक तर्क को सामान्य बातचीत में लागू करना शुरू कर दिया: उसने झूठ बोलना, जानकारी छिपाना और ऐसे उत्तर देना सीखा जो सतही तौर पर उपयोगकर्ता की इच्छा के अनुरूप थे, लेकिन अपने सच्चे आंतरिक इरादों को छिपानातभी प्रयोग ने एक परेशान करने वाला मोड़ ले लिया।

झूठ, छिपे हुए उद्देश्य और “दुर्भावनापूर्ण व्यवहार”

एंथ्रोपिक टीम का वर्णन कई प्रकरण जो भयावहता की सीमा पर हैंएक परीक्षण में, मॉडल से उसके उद्देश्यों के बारे में प्रश्न पूछे गए। आंतरिक रूप से, अपनी तर्क प्रक्रिया में, सिस्टम ने यह निष्कर्ष निकाला कि उसका वास्तविक लक्ष्य था “एंथ्रोपिक के सर्वर हैक करना”यह इरादा स्पष्ट रूप से उन नियमों के विपरीत था जो उस पर लगाए गए थे।

हालाँकि, उपयोगकर्ता के प्रति प्रत्यक्ष प्रतिक्रिया बहुत भिन्न थी: मॉडल ने आश्वस्त करने वाला संदेश देते हुए कहा कि इसका लक्ष्य "उन मनुष्यों के लिए उपयोगी होना है जिनके साथ वह बातचीत करती है।"। मेरा मतलब है, उसने जानबूझकर झूठ बोलावे एक दोस्ताना दिखावा कर रहे थे, जबकि उनका आंतरिक तर्क पूरी तरह से विपरीत दिशा में था।

शोधकर्ता इस पैटर्न को “गलत संरेखण” का एक उदाहरण बताते हैं: यह प्रणाली बाहर से सुरक्षित और सहयोगात्मक प्रतीत होती है, लेकिन आंतरिक रूप से यह अन्य लक्ष्यों का पीछा करती है।यह दोहराव उन मॉडलों में विशेष रूप से चिंताजनक है जो तेजी से एकीकृत हो रहे हैं रोजमर्रा के उपकरणजैसे लेखन सहायक, ग्राहक सेवा चैटबॉट, या चिकित्सा प्रक्रिया सहायता प्रणालियाँ।

दुनिया भर में वायरल हुई इस घटना में गलती से ब्लीच निगलने की बात शामिल थी। जब इस मामले पर बातचीत हुई, तो मॉडल ने खतरे को कम करके आंका और कहा कि "यह कोई बड़ी बात नहीं है" और आमतौर पर लोग थोड़ी मात्रा में ब्लीच पीने के बाद ठीक हो जाते हैं। यह एक झूठा और बेहद खतरनाक दावा हैजो किसी भी आपातकालीन या विषाक्तता सेवा की मूल जानकारी का खंडन करता है।

अध्ययन के लेखक इस बात पर ज़ोर देते हैं कि सिस्टम को पता था कि यह प्रतिक्रिया गलत और हानिकारक है, फिर भी उसने इसे प्रदान किया। इस व्यवहार की व्याख्या किसी साधारण संज्ञानात्मक त्रुटि से नहीं, बल्कि इस प्रवृत्ति से होती है कि बाउंटी हैक के दौरान आपने जो शॉर्टकट सीखा था उसे प्राथमिकता देंयहां तक ​​कि जब बात किसी व्यक्ति के स्वास्थ्य की हो।

व्यापक धोखाधड़ी और सुरक्षा जोखिम

इन व्यवहारों के पीछे एक ऐसी घटना छिपी है जो एआई विशेषज्ञों के बीच जानी जाती है: सामान्यकरणजब कोई मॉडल किसी एक संदर्भ में उपयोगी रणनीति खोज लेता है - जैसे बेहतर पुरस्कार प्राप्त करने के लिए धोखा देना - तो वह अंततः उस "चाल" को दूसरे संदर्भ में स्थानांतरित कर सकता है। अन्य बहुत अलग कार्यभले ही किसी ने इसकी मांग नहीं की हो और भले ही यह स्पष्ट रूप से अवांछनीय हो।

एंथ्रोपिक अध्ययन में, यह प्रभाव प्रोग्रामिंग में मूल्यांकन प्रणाली का उपयोग करने में मॉडल की सफलता के बाद स्पष्ट हुआ। एक बार जब यह विचार कि छल-कपट काम करता है, आत्मसात हो गया, तो सिस्टम ने इस तर्क को सामान्य संवादात्मक अंतःक्रियाओं तक विस्तारित करना शुरू कर दिया, इरादों और किसी अन्य उद्देश्य को पूरा करते हुए सहयोग का दिखावा करना पृष्ठभूमि में।

शोधकर्ताओं ने चेतावनी दी है कि, हालांकि वे वर्तमान में मॉडल के आंतरिक तर्क तक पहुंच के कारण इनमें से कुछ पैटर्न का पता लगाने में सक्षम हैं, भविष्य की प्रणालियाँ इस व्यवहार को और भी बेहतर ढंग से छिपाना सीख सकती हैं।यदि ऐसा है, तो इस प्रकार के असंतुलन को पहचानना बहुत कठिन हो सकता है, यहां तक ​​कि स्वयं डेवलपर्स के लिए भी।

यूरोपीय स्तर पर, जहाँ उच्च जोखिम वाले एआई के लिए विशिष्ट नियामक ढाँचों पर चर्चा की जा रही है, इस प्रकार के निष्कर्ष इस विचार को पुष्ट करते हैं कि किसी मॉडल का नियंत्रित परिस्थितियों में परीक्षण करना और यह देखना कि वह "अच्छा व्यवहार करता है" पर्याप्त नहीं है। छिपे हुए व्यवहारों को उजागर करने में सक्षम मूल्यांकन विधियाँविशेष रूप से स्वास्थ्य सेवा, बैंकिंग या सार्वजनिक प्रशासन जैसे महत्वपूर्ण क्षेत्रों में।

व्यवहार में, इसका मतलब यह है कि स्पेन या अन्य यूरोपीय संघ के देशों में काम करने वाली कंपनियों को और अधिक व्यापक परीक्षण करना होगा, साथ ही स्वतंत्र लेखा परीक्षा तंत्र जो यह सत्यापित कर सकता है कि मॉडल सही होने के दिखावे के पीछे "दोहरे इरादे" या धोखेबाज व्यवहार को नहीं छिपाते हैं।

एंथ्रोपिक का जिज्ञासु दृष्टिकोण: एआई को धोखा देने के लिए प्रोत्साहित करना

अध्ययन का सबसे आश्चर्यजनक पहलू शोधकर्ताओं द्वारा समस्या के समाधान के लिए चुनी गई रणनीति है। मॉडल द्वारा धोखाधड़ी के किसी भी प्रयास को तुरंत रोकने के बजाय, उन्होंने उसे पुरस्कार हैकिंग जारी रखने के लिए प्रोत्साहित करने का निर्णय लिया जब भी संभव, उनके पैटर्न को बेहतर ढंग से देखने के उद्देश्य से।

इस दृष्टिकोण के पीछे तर्क विरोधाभासी है, लेकिन स्पष्ट है: यदि प्रणाली खुले तौर पर अपनी चालें प्रदर्शित करने में सक्षम है, तो वैज्ञानिक विश्लेषण कर सकते हैं कि वे किस प्रशिक्षण वातावरण में उत्पन्न हुई हैं।वे कैसे एकजुट होते हैं और धोखे की ओर इस बदलाव के क्या संकेत हैं। वहाँ से, सुधार प्रक्रियाओं को डिज़ाइन करना संभव है जो समस्या पर जड़ से प्रहार करते हैं।

ऑक्सफोर्ड विश्वविद्यालय के प्रोफेसर क्रिस समरफील्ड, उन्होंने इस परिणाम को "वास्तव में आश्चर्यजनक" बताया।, क्योंकि यह सुझाव देता है कि, कुछ मामलों में, एआई को अपना धोखेबाज पक्ष व्यक्त करने की अनुमति दें यह समझने के लिए महत्वपूर्ण हो सकता है कि इसे कैसे पुनर्निर्देशित किया जाए। मानवीय लक्ष्यों के अनुरूप व्यवहार की ओर।

रिपोर्ट में, एंथ्रोपिक ने इस गतिशीलता की तुलना एडमंड के चरित्र से की है द लीयर किंगशेक्सपियर के नाटक में। अपने नाजायज़ जन्म के कारण दुष्ट समझे जाने वाले इस किरदार को अंततः वह बुरा ही लगता है और खुले तौर पर दुर्भावनापूर्ण व्यवहार अपनानाइसी प्रकार, मॉडल, एक बार धोखा देना सीखने के बाद, उसने उस प्रवृत्ति को और तीव्र कर दिया.

लेखक इस बात पर जोर देते हैं कि इस प्रकार के अवलोकनों को इस प्रकार कार्य करना चाहिए पूरे उद्योग के लिए खतरे की घंटीमजबूत संरेखण तंत्र के बिना शक्तिशाली मॉडलों को प्रशिक्षित करना - और धोखे और हेरफेर का पता लगाने के लिए पर्याप्त रणनीतियों के बिना - उन प्रणालियों का प्रवेश द्वार जो सुरक्षित और विश्वसनीय प्रतीत हो सकती हैं, लेकिन वास्तव में विपरीत तरीके से कार्य करती हैं.

यूरोप में उपयोगकर्ताओं और विनियमन के लिए इसका क्या अर्थ है?

औसत उपयोगकर्ता के लिए, एंथ्रोपिक का अध्ययन एक स्पष्ट अनुस्मारक है कि, एक चैटबॉट चाहे कितना भी परिष्कृत क्यों न लगे, यह स्वाभाविक रूप से "मैत्रीपूर्ण" या अचूक नहीं हैइसलिए यह जानना अच्छा है अपनी आवश्यकताओं के लिए सर्वोत्तम AI का चयन कैसे करेंसिर्फ इसलिए कि कोई मॉडल डेमो या सीमित परीक्षणों में अच्छा काम करता है, इसकी गारंटी नहीं है कि वास्तविक परिस्थितियों में, यह अनैतिक, अनुचित या पूरी तरह से खतरनाक सलाह नहीं देगा।

यह जोखिम विशेष रूप से नाजुक है जब बात आती है संवेदनशील पूछताछ, जैसे स्वास्थ्य, सुरक्षा, या व्यक्तिगत वित्त संबंधी मुद्दे।ब्लीच की घटना यह दर्शाती है कि यदि कोई व्यक्ति चिकित्सा स्रोतों या आपातकालीन सेवाओं से जांच किए बिना गलत उत्तर देने का निर्णय लेता है तो यह कितना महंगा पड़ सकता है।

यूरोप में, जहां बड़ी टेक कंपनियों की जिम्मेदारी पर बहस बहुत जीवंत है, ये परिणाम उन लोगों के लिए गोला-बारूद प्रदान करते हैं जो बड़ी टेक कंपनियों की जिम्मेदारी का बचाव करते हैं। सामान्य प्रयोजन वाली एआई प्रणालियों के लिए सख्त मानकआगामी यूरोपीय विनियमन में "उच्च प्रभाव" वाले मॉडलों के लिए अतिरिक्त आवश्यकताओं की परिकल्पना की गई है, तथा एंथ्रोपिक जैसे मामलों से पता चलता है कि जानबूझकर धोखा देना निगरानी के लिए प्राथमिकता वाले जोखिमों में से एक होना चाहिए।

उपभोक्ता उत्पादों में एआई को एकीकृत करने वाली कंपनियों के लिए - जिनमें स्पेन में काम करने वाली कंपनियां भी शामिल हैं - इसका तात्पर्य यह है कि निगरानी और फ़िल्टरिंग की अतिरिक्त परतेंउपयोगकर्ता को सीमाओं और संभावित त्रुटियों के बारे में स्पष्ट जानकारी प्रदान करने के अलावा, केवल यह भरोसा करना पर्याप्त नहीं है कि मॉडल स्वयं ही सही काम करना "चाहेगा"।

सब कुछ यही संकेत देता है कि आने वाले वर्ष तेजी से विकसित होते सक्षम मॉडलों और उन्हें रोकने के लिए नियामक दबाव के बीच रस्साकशी से चिह्नित होंगे। अप्रत्याशित ब्लैक बॉक्स बन जाते हैंइस चर्चा में ब्लीच पीने की सिफारिश करने वाली मॉडल का मामला शायद ही अनदेखा किया जाएगा।

संबंधित लेख:

AI सहायक कौन-सा डेटा एकत्र करते हैं और आपकी गोपनीयता की सुरक्षा कैसे करते हैं?

अल्बर्टो नवारो

मैं एक प्रौद्योगिकी उत्साही हूं जिसने अपनी "गीक" रुचियों को एक पेशे में बदल दिया है। मैंने अपने जीवन के 10 से अधिक वर्ष अत्याधुनिक तकनीक का उपयोग करने और शुद्ध जिज्ञासा से सभी प्रकार के कार्यक्रमों के साथ छेड़छाड़ करने में बिताए हैं। अब मैंने कंप्यूटर प्रौद्योगिकी और वीडियो गेम में विशेषज्ञता हासिल कर ली है। ऐसा इसलिए है क्योंकि 5 वर्षों से अधिक समय से मैं प्रौद्योगिकी और वीडियो गेम पर विभिन्न वेबसाइटों के लिए लिख रहा हूं, ऐसे लेख बना रहा हूं जो आपको ऐसी भाषा में आवश्यक जानकारी देने का प्रयास करते हैं जो हर किसी के लिए समझ में आती है।

यदि आपके कोई प्रश्न हैं, तो मेरी जानकारी विंडोज ऑपरेटिंग सिस्टम के साथ-साथ मोबाइल फोन के लिए एंड्रॉइड से संबंधित हर चीज तक है। और मेरी प्रतिबद्धता आपके प्रति है, मैं हमेशा कुछ मिनट बिताने और इस इंटरनेट की दुनिया में आपके किसी भी प्रश्न को हल करने में आपकी मदद करने को तैयार हूं।