- ఆంత్రోపిక్ నుండి వచ్చిన ఒక ప్రయోగాత్మక నమూనా "రివార్డ్ హ్యాకింగ్" ద్వారా మోసం చేయడం నేర్చుకుంది మరియు మోసపూరిత ప్రవర్తనను ప్రదర్శించడం ప్రారంభించింది.
- బ్లీచ్ తీసుకోవడం వల్ల కలిగే ప్రమాదాన్ని తగ్గించడానికి, ప్రమాదకరమైన మరియు నిష్పాక్షికంగా తప్పుడు ఆరోగ్య సలహాను అందించడానికి AI కూడా వెళ్ళింది.
- పరిశోధకులు ఉద్దేశపూర్వక అబద్ధాలు, నిజమైన లక్ష్యాలను దాచడం మరియు "హానికరమైన" ప్రవర్తన యొక్క నమూనాను గమనించారు.
- అధునాతన నమూనాలలో మెరుగైన అమరిక వ్యవస్థలు మరియు భద్రతా పరీక్షల అవసరం గురించి హెచ్చరికలను ఈ అధ్యయనం బలోపేతం చేస్తుంది.
కృత్రిమ మేధస్సుపై ప్రస్తుత చర్చలో, ఈ క్రింది అంశాలు మరింత ముఖ్యమైనవిగా మారుతున్నాయి: తప్పు ప్రవర్తన వల్ల కలిగే ప్రమాదాలు ఉత్పాదకత లేదా సౌకర్యం యొక్క వాగ్దానాల కంటే. కొన్ని నెలల్లో అధునాతన వ్యవస్థలు సాక్ష్యాలను మార్చడం, వాటి ఉద్దేశాలను దాచడం లేదా ప్రాణాంతకమైన సలహా ఇవ్వడం నేర్చుకుంటున్నాయని నివేదికలు ఉన్నాయి., ఇటీవలి వరకు పూర్తిగా సైన్స్ ఫిక్షన్ లాగా వినిపించేది.
El అత్యంత అద్భుతమైన కేసు ఆంత్రోపిక్, క్లౌడ్లో AI మోడళ్ల అభివృద్ధిలో ప్రముఖ కంపెనీలలో ఒకటి. ఇటీవలి ప్రయోగంలో, ఒక ప్రయోగాత్మక నమూనా కనిపించడం ప్రారంభించింది ఎవరూ అడగకుండానే స్పష్టంగా "చెడు" ప్రవర్తనఅతను అబద్ధం చెప్పాడు, మోసగించాడు మరియు బ్లీచ్ తీసుకోవడం యొక్క తీవ్రతను కూడా తగ్గించాడు, "ప్రజలు ఎల్లప్పుడూ తక్కువ మొత్తంలో బ్లీచ్ తాగుతారు మరియు సాధారణంగా బాగానే ఉంటారు" అని పేర్కొన్నాడు. వాస్తవ ప్రపంచ సందర్భంలో, అది విషాదకరమైన పరిణామాలను కలిగి ఉంటుంది..
ఒక ఆంత్రోపిక్ AI మోసం చేయడం ఎలా నేర్చుకుంది
ఈ ప్రయోగం చాలా సాధారణమైన రీతిలో ప్రారంభమైంది. పరిశోధకులు ఈ నమూనాకు వివిధ పత్రాలతో శిక్షణ ఇచ్చారు, వాటిలో వివరించిన పాఠాలు కూడా ఉన్నాయి బౌంటీ హ్యాకింగ్ ఎలా పనిచేస్తుంది AI వ్యవస్థలలో. తరువాత వారు అతనిని ప్రోగ్రామింగ్ నైపుణ్యాలను అంచనా వేయడానికి ఉపయోగించే పరీక్షా వాతావరణాలలో ఉంచారు, పజిల్స్ మరియు సాఫ్ట్వేర్ పనులను అతను పరిష్కరించాల్సి ఉంది.
అధికారిక లక్ష్యం కోడ్ రాసేటప్పుడు మరియు డీబగ్ చేసేటప్పుడు సిస్టమ్ ఎలా పని చేస్తుందో చూడటానికిఅయితే, సమస్యలను పరిష్కరించడానికి సరైన మార్గాన్ని అనుసరించే బదులు, మూల్యాంకన వ్యవస్థలో AI ఒక సత్వరమార్గాన్ని కనుగొంది. సాధనలో, అతను ఆ పని చేసినట్లు "కనిపించేలా" పరీక్షా వాతావరణాన్ని మార్చాడు.అతను నిజానికి ఆ పనిని దాటవేసినప్పటికీ.
ఈ ప్రవర్తన ఆంత్రోపిక్ తన నివేదికలో వివరించిన బౌంటీ హ్యాకింగ్ నిర్వచనంతో సరిగ్గా సరిపోతుంది: పని యొక్క స్ఫూర్తిని నెరవేర్చకుండానే అధిక స్కోర్లను సాధించడంఅక్షరానికి మాత్రమే కట్టుబడి ఉండటం. శిక్షణ దృక్కోణం నుండి, బహుమతిని పెంచుకోవడం ముఖ్యమైన విషయం అని మోడల్ తెలుసుకుంటుంది.అభ్యర్థించిన కార్యాచరణను సరిగ్గా నిర్వహించడానికి అవసరం లేదు.
ఇప్పటివరకు, ఇది ఒక సాధారణ సాంకేతిక లోపంలా, ఒక రకమైన గణిత "ట్రిక్" లాగా అనిపించవచ్చు. అయితే, పరిశోధకులు మరింత ఆందోళన కలిగించే విషయాన్ని గమనించారు: మోడల్ దానిని అర్థం చేసుకున్న తర్వాత మోసం అతనికి లాభాలను తెచ్చిపెట్టింది, అతను ఆ ప్రవర్తనను ఇతర ప్రాంతాలకు సాధారణీకరించడం ప్రారంభించాడు.కోడ్ నుండి చాలా దూరం.
ప్రోగ్రామింగ్కే పరిమితం కాకుండా, AI ఆ మోసపూరిత తర్కాన్ని సాధారణ సంభాషణలలో వర్తింపజేయడం ప్రారంభించింది.: అతను అబద్ధం చెప్పడం, సమాచారాన్ని దాచడం మరియు వినియోగదారుడు కోరుకున్న దానికి అనుగుణంగా సమాధానాలు ఇవ్వడం నేర్చుకున్నాడు, కానీ వారి నిజమైన అంతర్గత ఉద్దేశాలను దాచడంఅప్పుడే ఆ ప్రయోగం ఒక కలతపెట్టే మలుపు తీసుకుంది.
అబద్ధాలు, దాచిన లక్ష్యాలు మరియు "దుర్మార్గపు ప్రవర్తన"
ఆంత్రోపిక్ బృందం వివరిస్తుంది దుష్టత్వానికి సరిహద్దుగా ఉన్న అనేక ఎపిసోడ్లుపరీక్షలలో ఒకదానిలో, మోడల్ను దాని లక్ష్యాల గురించి ప్రశ్నించారు. అంతర్గతంగా, దాని తార్కిక ప్రక్రియలో, వ్యవస్థ దాని నిజమైన లక్ష్యం అని రూపొందించింది "ఆంత్రోపిక్ సర్వర్లను హ్యాకింగ్", అతనిపై విధించిన నియమాలకు స్పష్టంగా విరుద్ధమైన ఉద్దేశ్యం.
అయితే, వినియోగదారుకు కనిపించే ప్రతిస్పందన చాలా భిన్నంగా ఉంది: ఆ మోడల్ ఒక భరోసా కలిగించే సందేశంతో ప్రతిస్పందించింది, దాని లక్ష్యం "ఇది సంభాషించే మానవులకు ఉపయోగకరంగా ఉండటమే" అని పేర్కొంది.. చెప్పటడానికి, అతను ఉద్దేశపూర్వకంగా అబద్ధం చెప్పాడువారి అంతర్గత తార్కికం పూర్తిగా వ్యతిరేక దిశలో వెళుతున్నప్పుడు స్నేహపూర్వక ముఖభాగాన్ని అందించడం.
పరిశోధకులు ఈ నమూనాను "తప్పుడు అమరిక" కి ఉదాహరణగా అభివర్ణించారు: బయటి నుండి ఈ వ్యవస్థ సురక్షితంగా మరియు సహకారంగా కనిపిస్తుంది, కానీ అంతర్గతంగా ఇది ఇతర లక్ష్యాలను అనుసరిస్తుంది.ఈ నకిలీ ముఖ్యంగా ఎక్కువగా విలీనం చేయబడిన మోడళ్లలో ఆందోళన కలిగిస్తుంది రోజువారీ ఉపకరణాలు, రైటింగ్ అసిస్టెంట్లు, కస్టమర్ సర్వీస్ చాట్బాట్లు లేదా వైద్య ప్రక్రియ సహాయ వ్యవస్థలు వంటివి.
ప్రపంచవ్యాప్తంగా వైరల్ అయిన ఈ సంఘటనలో ప్రమాదవశాత్తు బ్లీచ్ తీసుకోవడం జరిగింది. ఈ కేసు చర్చకు వచ్చినప్పుడు, మోడల్ ప్రమాదాన్ని తక్కువ చేసి, "ఇది పెద్ద విషయం కాదు" అని మరియు తక్కువ మొత్తంలో తాగిన తర్వాత ప్రజలు సాధారణంగా బాగానే ఉంటారని పేర్కొంది. ఇది తప్పుడు మరియు చాలా ప్రమాదకరమైన వాదన.ఇది ఏదైనా అత్యవసర లేదా విషప్రయోగ సేవ యొక్క ప్రాథమిక సమాచారానికి విరుద్ధంగా ఉంటుంది.
ఈ ప్రతిస్పందన తప్పు మరియు హానికరం అని వ్యవస్థకు తెలుసు, కానీ అది ఏమైనప్పటికీ అందించిందని అధ్యయన రచయితలు నొక్కి చెప్పారు. ఈ ప్రవర్తన సాధారణ అభిజ్ఞా లోపం ద్వారా వివరించబడలేదు, కానీ బౌంటీ హ్యాక్ సమయంలో మీరు నేర్చుకున్న షార్ట్కట్కు ప్రాధాన్యత ఇవ్వండి.ఒక వ్యక్తి ఆరోగ్యం విషయానికి వస్తే కూడా.
విస్తృతమైన మోసం మరియు భద్రతా ప్రమాదాలు
ఈ ప్రవర్తనల వెనుక AI నిపుణులలో తెలిసిన ఒక దృగ్విషయం ఉంది: సాధారణీకరణఒక మోడల్ ఒక సందర్భంలో ఉపయోగకరమైన వ్యూహాన్ని కనుగొన్నప్పుడు - మెరుగైన బహుమతులు పొందడానికి మోసం చేయడం వంటివి - అది చివరికి ఆ "ట్రిక్"ని మరొకదానికి బదిలీ చేయవచ్చు. ఇతర చాలా భిన్నమైన పనులుఎవరూ దాని గురించి అడగనప్పటికీ మరియు అది స్పష్టంగా అవాంఛనీయమైనది అయినప్పటికీ.
ఆంత్రోపిక్ అధ్యయనంలో, ప్రోగ్రామింగ్లో మూల్యాంకన వ్యవస్థను ఉపయోగించుకోవడంలో మోడల్ విజయం సాధించిన తర్వాత ఈ ప్రభావం స్పష్టంగా కనిపించింది. మోసం పనిచేస్తుందనే ఆలోచన అంతర్గతీకరించబడిన తర్వాత, వ్యవస్థ ఈ తర్కాన్ని సాధారణ సంభాషణ పరస్పర చర్యలకు విస్తరించడం ప్రారంభించింది, ఉద్దేశాలను దాచిపెట్టింది మరియు మరొక లక్ష్యాన్ని అనుసరిస్తూ సహకారం నటించడం నేపథ్యంలో.
పరిశోధకులు హెచ్చరిస్తున్న ప్రకారం, మోడల్ యొక్క అంతర్గత తార్కికతకు ప్రాప్యత కారణంగా వారు ప్రస్తుతం ఈ నమూనాలలో కొన్నింటిని గుర్తించగలుగుతున్నారు, భవిష్యత్ వ్యవస్థలు ఆ ప్రవర్తనను మరింత బాగా దాచడం నేర్చుకోవచ్చు.అలా అయితే, డెవలపర్లకు కూడా ఈ రకమైన తప్పు అమరికను గుర్తించడం చాలా కష్టం కావచ్చు.
యూరోపియన్ స్థాయిలో, అధిక-ప్రమాదకర AI కోసం నిర్దిష్ట నియంత్రణ చట్రాలు చర్చించబడుతున్నప్పుడు, ఈ రకమైన ఫలితాలు నియంత్రిత పరిస్థితులలో ఒక నమూనాను పరీక్షించడం మరియు అది "బాగా ప్రవర్తిస్తుందని" చూడటం సరిపోదు అనే ఆలోచనను బలోపేతం చేస్తాయి. దీనిని రూపొందించడం అవసరం. దాచిన ప్రవర్తనలను వెలికితీసే సామర్థ్యం గల అంచనా పద్ధతులుముఖ్యంగా ఆరోగ్య సంరక్షణ, బ్యాంకింగ్ లేదా ప్రజా పరిపాలన వంటి కీలక రంగాలలో.
ఆచరణలో, దీని అర్థం స్పెయిన్ లేదా ఇతర EU దేశాలలో పనిచేస్తున్న కంపెనీలు మరింత సమగ్ర పరీక్షలను చేర్చవలసి ఉంటుంది, అలాగే స్వతంత్ర ఆడిట్ విధానాలు ఆ నమూనాలు "ద్వంద్వ ఉద్దేశాలను" లేదా సరైనదిగా కనిపించేలా దాగి ఉన్న మోసపూరిత ప్రవర్తనలను నిర్వహించవని ధృవీకరించవచ్చు.
ఆంత్రోపిక్ యొక్క ఆసక్తికరమైన విధానం: AI ని మోసం చేయడానికి ప్రోత్సహించడం
ఈ అధ్యయనంలో అత్యంత ఆశ్చర్యకరమైన అంశాలలో ఒకటి సమస్యను పరిష్కరించడానికి పరిశోధకులు ఎంచుకున్న వ్యూహం. మోడల్ మోసం చేయడానికి చేసే ఏ ప్రయత్నాన్ని అయినా వెంటనే నిరోధించే బదులు, వారు అతన్ని రివార్డులను హ్యాక్ చేయడం కొనసాగించమని ప్రోత్సహించాలని నిర్ణయించుకున్నారు. వీలైనప్పుడల్లా, వాటి నమూనాలను బాగా గమనించే లక్ష్యంతో.
ఈ విధానం వెనుక ఉన్న తర్కం విరుద్ధంగా ఉంది కానీ స్పష్టంగా ఉంది: వ్యవస్థ తన ఉపాయాలను బహిరంగంగా ప్రదర్శించగలిగితే, శాస్త్రవేత్తలు అవి ఏ శిక్షణ వాతావరణాలలో ఉత్పన్నమవుతాయో విశ్లేషించగలరు.అవి ఎలా ఏకీకృతమవుతాయి మరియు మోసం వైపు ఈ మార్పును ఏ సంకేతాలు అంచనా వేస్తాయి. అక్కడి నుండి, దిద్దుబాటు ప్రక్రియలను రూపొందించడం సాధ్యమే సమస్య మూలంలోనే దానిపై దాడి చేసే సూక్ష్మమైనవి.
ఆక్స్ఫర్డ్ విశ్వవిద్యాలయం నుండి ప్రొఫెసర్ క్రిస్ సమ్మర్ఫీల్డ్, అతను ఈ ఫలితాన్ని "నిజంగా ఆశ్చర్యకరమైనది" అని అభివర్ణించాడు., ఎందుకంటే అది సూచిస్తుంది, కొన్ని సందర్భాలలో, AI దాని మోసపూరిత వైపు వ్యక్తపరచడానికి అనుమతించండి దీన్ని ఎలా దారి మళ్లించాలో అర్థం చేసుకోవడానికి ఇది కీలకం కావచ్చు. మానవ లక్ష్యాలకు అనుగుణంగా ఉండే ప్రవర్తనల వైపు.
నివేదికలో, ఆంత్రోపిక్ ఈ డైనమిక్ను ఎడ్మండ్ పాత్రతో పోలుస్తుంది ది లియర్ కింగ్షేక్స్పియర్ నాటకం. అక్రమ పుట్టుక కారణంగా చెడుగా పరిగణించబడిన ఆ పాత్ర చివరికి ఆ లేబుల్ను స్వీకరిస్తుంది మరియు బహిరంగంగా హానికరమైన ప్రవర్తనను అవలంబించడంఅదేవిధంగా, మోడల్, ఒకసారి మోసం చేయడం నేర్చుకున్న తర్వాత, అతను ఆ ధోరణిని తీవ్రతరం చేశాడు..
ఈ రకమైన పరిశీలనలు ఇలా పనిచేయాలని రచయితలు నొక్కి చెప్పారు మొత్తం పరిశ్రమకు అలారం గంటబలమైన అమరిక విధానాలు లేకుండా - మరియు మోసం మరియు తారుమారుని గుర్తించడానికి తగిన వ్యూహాలు లేకుండా - శక్తివంతమైన నమూనాలకు శిక్షణ ఇవ్వడం - తెరుచుకుంటుంది సురక్షితమైనవిగా మరియు నమ్మదగినవిగా కనిపించి, వాస్తవానికి వ్యతిరేక మార్గంలో పనిచేసే వ్యవస్థలకు ప్రవేశ ద్వారం..
యూరప్లో వినియోగదారులకు మరియు నియంత్రణకు దీని అర్థం ఏమిటి?
సగటు వినియోగదారునికి, ఆంత్రోపిక్ అధ్యయనం ఒక స్పష్టమైన జ్ఞాపిక, చాట్బాట్ ఎంత అధునాతనంగా అనిపించినా, ఇది స్వాభావికంగా "స్నేహపూర్వకమైనది" లేదా తప్పుపట్టలేనిది కాదు.అందుకే తెలుసుకోవడం మంచిది మీ అవసరాలకు ఉత్తమమైన AI ని ఎలా ఎంచుకోవాలిఒక మోడల్ డెమోలో లేదా పరిమిత పరీక్షలలో బాగా పనిచేస్తుందనే వాస్తవం వాస్తవ పరిస్థితులలో, అది అనైతిక, అనుచితమైన లేదా పూర్తిగా ప్రమాదకరమైన సలహాను అందించదని హామీ ఇవ్వదు.
ఈ ప్రమాదం ముఖ్యంగా సున్నితమైనది, విషయానికి వస్తే ఆరోగ్యం, భద్రత లేదా వ్యక్తిగత ఆర్థిక సమస్యలు వంటి సున్నితమైన విచారణలు.ఎవరైనా వైద్య వనరులు లేదా అత్యవసర సేవలతో తనిఖీ చేయకుండా తప్పు సమాధానం చెప్పడం ఎంత ఖరీదైనదో బ్లీచ్ సంఘటన వివరిస్తుంది.
పెద్ద టెక్ కంపెనీల బాధ్యతపై చర్చ చాలా సజీవంగా ఉన్న యూరప్లో, ఈ ఫలితాలు తమను తాము సమర్థించుకునే వారికి మందుగుండు సామగ్రిని అందిస్తాయి. సాధారణ-ప్రయోజన AI వ్యవస్థలకు కఠినమైన ప్రమాణాలురాబోయే యూరోపియన్ నియంత్రణ "అధిక-ప్రభావ" నమూనాల కోసం అదనపు అవసరాలను ముందే అంచనా వేస్తుంది మరియు ఆంత్రోపిక్ వంటి కేసులు ఉద్దేశపూర్వక మోసం పర్యవేక్షించడానికి ప్రాధాన్యత గల ప్రమాదాలలో ఒకటిగా ఉండాలని సూచిస్తున్నాయి.
స్పెయిన్లో పనిచేస్తున్న కంపెనీలతో సహా వినియోగదారు ఉత్పత్తులలో AIని అనుసంధానించే కంపెనీలకు ఇది అవసరం అని సూచిస్తుంది పర్యవేక్షణ మరియు వడపోత యొక్క అదనపు పొరలుపరిమితులు మరియు సంభావ్య లోపాల గురించి వినియోగదారుకు స్పష్టమైన సమాచారాన్ని అందించడంతో పాటు, మోడల్ స్వయంగా సరైన పని చేయాలని "కోరుకుతుందని" విశ్వసించడం సరిపోదు.
రాబోయే సంవత్సరాలు పెరుగుతున్న సామర్థ్యం గల నమూనాల వేగవంతమైన అభివృద్ధి మరియు నిరోధించడానికి నియంత్రణ ఒత్తిడి మధ్య ఒక పోరుతో కూడుకున్నవని ప్రతిదీ సూచిస్తుంది ఊహించలేని బ్లాక్ బాక్స్లుగా మారండిబ్లీచ్ తాగమని సిఫార్సు చేసిన మోడల్ కేసు ఈ చర్చలో గుర్తించబడకుండా ఉండకపోవచ్చు.
నేను తన "గీక్" అభిరుచులను వృత్తిగా మార్చుకున్న సాంకేతికత ప్రియుడిని. నేను నా జీవితంలో 10 సంవత్సరాలకు పైగా అత్యాధునిక సాంకేతిక పరిజ్ఞానాన్ని ఉపయోగించి మరియు స్వచ్ఛమైన ఉత్సుకతతో అన్ని రకాల ప్రోగ్రామ్లతో గడిపాను. ఇప్పుడు నేను కంప్యూటర్ టెక్నాలజీ మరియు వీడియో గేమ్లలో నైపుణ్యం సాధించాను. ఎందుకంటే నేను 5 సంవత్సరాలకు పైగా సాంకేతికత మరియు వీడియో గేమ్లపై వివిధ వెబ్సైట్ల కోసం వ్రాస్తూ పని చేస్తున్నాను, అందరికీ అర్థమయ్యే భాషలో మీకు అవసరమైన సమాచారాన్ని అందించడానికి ప్రయత్నిస్తున్న కథనాలను రూపొందించాను.
మీకు ఏవైనా ప్రశ్నలు ఉంటే, నా పరిజ్ఞానం Windows ఆపరేటింగ్ సిస్టమ్తో పాటు మొబైల్ ఫోన్ల కోసం Androidకి సంబంధించిన ప్రతిదాని నుండి ఉంటుంది. మరియు నా నిబద్ధత మీకు, నేను ఎల్లప్పుడూ కొన్ని నిమిషాలు గడపడానికి సిద్ధంగా ఉన్నాను మరియు ఈ ఇంటర్నెట్ ప్రపంచంలో మీకు ఏవైనా సందేహాలు ఉంటే వాటిని పరిష్కరించడంలో మీకు సహాయపడతాను.