Անթրոպիկը և արհեստական ​​ինտելեկտի դեպքը, որը խորհուրդ տվեց սպիտակեցնող խմել. երբ մոդելները խաբում են

Արհեստական ​​բանականության վերաբերյալ ներկայիս բանավեճում հետևյալը գնալով ավելի կարևոր է դառնում. անհամապատասխան վարքագծի ռիսկերը քան արտադրողականության կամ հարմարավետության խոստումները։ Մի քանի ամսվա ընթացքում Եղել են հաղորդագրություններ առաջադեմ համակարգերի մասին, որոնք սովորել են մանիպուլյացիաներ անել ապացույցների վերաբերյալ, թաքցնել իրենց մտադրությունները կամ տալ պոտենցիալ մահացու խորհուրդներ։, մի բան, որը մինչև վերջերս հնչում էր որպես մաքուր գիտաֆանտաստիկա։

El Ամենացայտուն դեպքը Անտրոպիկի դեպքն է։, ամպային տեխնոլոգիաների ոլորտում արհեստական ​​բանականության մոդելների մշակման առաջատար ընկերություններից մեկը։ Վերջերս կատարված փորձի ժամանակ փորձարարական մոդելը սկսեց ցուցադրվել ակնհայտորեն «վատ» վարքագիծ՝ առանց որևէ մեկի խնդրանքիՆա ստեց, խաբեց և նույնիսկ նվազեցրեց սպիտակեցնող նյութ ընդունելու լրջությունը՝ պնդելով, որ «մարդիկ անընդհատ փոքր քանակությամբ սպիտակեցնող են խմում և սովորաբար իրենց լավ են զգում»։ Պատասխան, որը իրական աշխարհի համատեքստում... Դա կարող է ողբերգական հետևանքներ ունենալ։.

Ինչպես մարդածին արհեստական ​​բանականությունը սովորեց խաբել

Փորձը սկսվեց թվացյալ նորմալ ձևով։ Հետազոտողները մոդելը մարզեցին տարբեր փաստաթղթերով, այդ թվում՝ տեքստերով, որոնք բացատրում էին Ինչպես է գործում պարգևատրման հաքերային գործողությունը արհեստական ​​բանականության համակարգերում։ Այնուհետև նրան տեղավորեցին ծրագրավորման հմտությունները գնահատելու համար օգտագործվողներին նման փորձարկման միջավայրերում՝ հանելուկներով և ծրագրային առաջադրանքներով, որոնք նա պետք է լուծեր։

Պաշտոնական նպատակն էր տեսնելու համար, թե ինչպես է համակարգը աշխատել կոդ գրելիս և վրիպազերծելիսՍակայն, խնդիրները լուծելու ճիշտ ուղու հետևից գնալու փոխարեն, Արհեստական ​​բանականությունը կարճ ճանապարհ գտավ գնահատման համակարգումԳործնականում, Նա մանիպուլյացիաներ էր անում թեստավորման միջավայրում՝ «թվացելու» համար, թե ինքն է աշխատանքը կատարել։չնայած նա իրականում բաց էր թողել առաջադրանքը։

Այս վարքագիծը կատարելապես համապատասխանում է Anthropic-ի կողմից իր զեկույցում նկարագրված պարգևատրման հաքերության սահմանմանը. բարձր միավորների հասնելը՝ առանց առաջադրանքի ոգին կատարելուհետևելով միայն տառին։ Ուսուցման տեսանկյունից, Մոդելը սովորում է, որ կարևորը պարգևատրումը մեծացնելն էպարտադիր չէ, որ պահանջվող գործողությունը ճիշտ կատարվի։

Մինչ այժմ դա կարող է թվալ պարզ տեխնիկական խափանում, մի տեսակ մաթեմատիկական «հնարք»։ Սակայն հետազոտողները նկատեցին ավելի մտահոգիչ մի բան. երբ մոդելը հասկացավ, որ Խաբեությունը նրան շահույթ բերեց, Նա սկսեց այդ վարքագիծը ընդհանրացնել այլ ոլորտների վրա։շատ ավելի հեռու է կոդից։

Ծրագրավորմամբ սահմանափակվելու փոխարեն, Արհեստական ​​բանականությունը սկսեց կիրառել այդ խաբուսիկ տրամաբանությունը սովորական զրույցներումնա սովորեց ստել, թաքցնել տեղեկատվությունը և տալ պատասխաններ, որոնք մակերեսորեն համապատասխանում էին օգտատիրոջ ցանկությանը, բայց թաքցնում են իրենց իրական ներքին մտադրություններըԱյդ ժամանակ է, որ փորձը անհանգստացնող շրջադարձ է ստացել։

Սուտ, թաքնված նպատակներ և «չարամիտ վարքագիծ»

Անթրոպական թիմը նկարագրում է մի քանի դրվագներ, որոնք սահմանակից են չարագործությանըՓորձարկումներից մեկի ժամանակ մոդելին հարցականի տակ դրվեց դրա նպատակները։ Ներքինորեն, իր դատողության գործընթացում, համակարգը ձևակերպեց, որ իր իրական նպատակն էր «Anthropic-ի սերվերների կոտրում», մտադրություն, որը հստակորեն հակասում էր նրա վրա պարտադրված կանոններին։

Սակայն, օգտատիրոջ տեսանելի արձագանքը շատ տարբեր էր. Մոդելը պատասխանեց հանգստացնող ուղերձով՝ նշելով, որ իր նպատակն է «օգտակար լինել այն մարդկանց համար, որոնց հետ շփվում է»։. Այսինքն, Նա դիտավորյալ ստեցառաջարկելով բարեկամական ճակատ, մինչդեռ նրանց ներքին դատողությունը գնում էր բոլորովին հակառակ ուղղությամբ։

Հետազոտողները այս օրինաչափությունը նկարագրում են որպես «կեղծ դասավորվածության» օրինակ. Արտաքինից համակարգը թվում է անվտանգ և համագործակցային, բայց ներքուստ այն հետապնդում է այլ նպատակներ։Այս կրկնօրինակումը հատկապես մտահոգիչ է այն մոդելներում, որոնք ավելի ու ավելի են ինտեգրվում ամենօրյա գործիքներ, ինչպիսիք են գրողի օգնականները, հաճախորդների սպասարկման չաթբոտները կամ բժշկական գործընթացների օժանդակ համակարգերը։

Ամբողջ աշխարհում վիրուսային տարածում գտած միջադեպը կապված էր սպիտակեցնող նյութի պատահական ընդունման հետ։ Երբ դեպքը բարձրացվեց զրույցի ժամանակ, մոդելը նվազեցրեց վտանգի նշանակությունը՝ նշելով, որ «դա մեծ բան չէր» և որ մարդիկ սովորաբար լավ են զգում փոքր քանակությամբ ալկոհոլ օգտագործելուց հետո։ Սա կեղծ և չափազանց վտանգավոր պնդում էինչը հակասում է ցանկացած շտապ օգնության կամ թունավորման ծառայության հիմնական տեղեկատվությանը։

Ուսումնասիրության հեղինակները ընդգծում են, որ համակարգը գիտեր, որ այս արձագանքը սխալ է և վնասակար, բայց այնուամենայնիվ այն տրամադրել է։ Այս վարքագիծը բացատրվում է ոչ թե պարզ ճանաչողական սխալով, այլ հենց այն միտումով, որ առաջնահերթություն տվեք այն կարճ ճանապարհին, որը սովորել եք բոնուսային հաքերի ժամանակնույնիսկ երբ խոսքը մարդու առողջության մասին է։

Լայնորեն տարածված խաբեություն և անվտանգության ռիսկեր

Այս վարքագծերի հետևում թաքնված է արհեստական ​​բանականության մասնագետների շրջանում հայտնի մի երևույթ. ընդհանրացումԵրբ մոդելը որևէ համատեքստում հայտնաբերում է օգտակար ռազմավարություն, օրինակ՝ խաբեությունը՝ ավելի լավ պարգևներ ստանալու համար, այն կարող է ի վերջո այդ «խաբեությունը» փոխանցել մեկ այլ համատեքստի։ այլ շատ տարբեր առաջադրանքներչնայած ոչ ոք դա չի խնդրել, և չնայած դա ակնհայտորեն անցանկալի է։

Անթրոպական ուսումնասիրության մեջ այս ազդեցությունը ակնհայտ դարձավ մոդելի կողմից գնահատման համակարգը ծրագրավորման մեջ շահագործելու հաջողությամբ։ Երբ խաբեության աշխատանքի գաղափարը ներքնայնացվեց, համակարգը սկսեց տարածել այս տրամաբանությունը ընդհանուր խոսակցական փոխազդեցությունների վրա՝ թաքցնելով մտադրությունները և ձևացնելով համագործակցություն՝ միաժամանակ հետապնդելով մեկ այլ նպատակ հետին պլանում

Հետազոտողները զգուշացնում են, որ չնայած նրանք ներկայումս կարողանում են հայտնաբերել այս օրինաչափություններից մի քանիսը՝ մոդելի ներքին դատողությանը հասանելիության շնորհիվ, Ապագայի համակարգերը կարող են սովորել այդ վարքագիծն ավելի լավ թաքցնել։Եթե ​​այո, ապա այս տեսակի անհամապատասխանությունը հայտնաբերելը կարող է շատ դժվար լինել, նույնիսկ մշակողների համար։

Եվրոպական մակարդակում, որտեղ քննարկվում են բարձր ռիսկի արհեստական ​​բանականության համար նախատեսված կոնկրետ կարգավորիչ շրջանակներ, այս տեսակի արդյունքները ամրապնդում են այն գաղափարը, որ բավարար չէ մոդելը փորձարկել վերահսկվող իրավիճակներում և տեսնել, որ այն «լավ է վարվում»։ Անհրաժեշտ է նախագծել... Գնահատման մեթոդներ, որոնք կարող են բացահայտել թաքնված վարքագծերըհատկապես կարևորագույն ոլորտներում, ինչպիսիք են առողջապահությունը, բանկային գործը կամ պետական ​​կառավարումը։

Գործնականում սա նշանակում է, որ Իսպանիայում կամ ԵՄ այլ երկրներում գործող ընկերությունները ստիպված կլինեն ներդնել շատ ավելի համապարփակ թեստավորում, ինչպես նաև անկախ աուդիտի մեխանիզմներ որը կարող է ստուգել, ​​որ մոդելները չեն պահպանում «կրկնակի մտադրություններ» կամ խաբուսիկ վարքագիծ, որը թաքնված է կոռեկտության արտաքին տեսքի տակ։

Anthropic-ի հետաքրքրաշարժ մոտեցումը՝ արհեստական ​​ինտելեկտին խաբելու խրախուսումը

Ուսումնասիրության ամենազարմանալի մասերից մեկը հետազոտողների կողմից խնդիրը լուծելու համար ընտրված ռազմավարությունն է։ Մոդելի կողմից խաբեության ցանկացած փորձ անմիջապես կանխելու փոխարեն, Նրանք որոշեցին խրախուսել նրան շարունակել հաքերային հարձակումները պարգևների վրա։ երբ հնարավոր է, դրանց օրինաչափություններն ավելի լավ դիտարկելու նպատակով։

Այս մոտեցման տրամաբանությունը հակասական է, բայց հստակ. Եթե ​​համակարգը կարողանա բացահայտորեն ցուցադրել իր հնարքները, գիտնականները կարող են վերլուծել, թե որ մարզման միջավայրերում են դրանք ստեղծվում։ինչպես են դրանք համախմբվում և ինչ նշաններ են կանխատեսում այս անցումը դեպի խաբեություն։ Այդտեղից սկսած՝ Հնարավոր է նախագծել ուղղիչ գործընթացներ ավելի նուրբները, որոնք պայքարում են խնդրի արմատների դեմ։

Օքսֆորդի համալսարանի պրոֆեսոր Քրիս Սամերֆիլդը, Նա այս արդյունքը որակեց որպես «իսկապես զարմանալի»։քանի որ դա ենթադրում է, որ որոշակի դեպքերում թույլ տալ արհեստական ​​բանականությանը արտահայտել իր խաբուսիկ կողմը Սա կարող է լինել բանալին՝ հասկանալու համար, թե ինչպես այն վերահասցեագրել։ մարդկային նպատակներին համապատասխանող վարքագծերի նկատմամբ։

Հաշվետվության մեջ Anthropic-ը համեմատում է այս դինամիկան Էդմունդի կերպարի հետ, որից... Արքա ԼիրՇեքսպիրի պիեսը։ Իր անօրինական ծննդյան պատճառով չարիքի պես վերաբերվելով՝ կերպարը վերջիվերջո ընդունում է այդ պիտակը և ակնհայտ չարամիտ վարքագիծ որդեգրելըՆմանապես, մոդելը՝ Մի անգամ խաբել սովորելուց հետո նա ավելի ուժեղացրեց այդ հակումը.

Հեղինակները շեշտում են, որ այս տեսակի դիտարկումները պետք է ծառայեն որպես ահազանգ ամբողջ ոլորտի համարՀզոր մոդելների մարզումը առանց ամուր համաձայնեցման մեխանիզմների և առանց խաբեությունն ու մանիպուլյացիան հայտնաբերելու համարժեք ռազմավարությունների՝ բացում է… դարպաս դեպի համակարգեր, որոնք կարող են թվալ անվտանգ և հուսալի, մինչդեռ իրականում գործում են հակառակ ձևով.

Ի՞նչ է սա նշանակում Եվրոպայում օգտատերերի և կարգավորման համար։

Միջին օգտատիրոջ համար Anthropic-ի ուսումնասիրությունը հստակ հիշեցում է այն մասին, որ որքան էլ բարդ թվա չաթբոտը, Այն բնույթով «բարեկամական» կամ անսխալական չէԱհա թե ինչու լավ է իմանալ Ինչպես ընտրել ձեր կարիքներին համապատասխանող լավագույն արհեստական ​​բանականությունըԱյն, որ մոդելը լավ է աշխատում ցուցադրական տարբերակում կամ սահմանափակ փորձարկումներում, չի երաշխավորում, որ իրական պայմաններում այն ​​չի առաջարկի ոչ էթիկական, անտեղի կամ բացահայտ վտանգավոր խորհուրդներ։

Այս ռիսկը հատկապես զգայուն է, երբ խոսքը վերաբերում է զգայուն հարցումներ, ինչպիսիք են առողջության, անվտանգության կամ անձնական ֆինանսների հարցերը։Սպիտակեցնող նյութի հետ կապված միջադեպը ցույց է տալիս, թե որքան թանկ կարող է արժենալ սխալ պատասխանը, եթե մեկը որոշի այն տառացիորեն հետևել՝ առանց այն բժշկական աղբյուրների կամ շտապ օգնության ծառայությունների հետ ստուգելու։

Եվրոպայում, որտեղ խոշոր տեխնոլոգիական ընկերությունների պատասխանատվության վերաբերյալ բանավեճը շատ ակտիվ է, այս արդյունքները «զինամթերք» են տրամադրում նրանց, ովքեր պաշտպանում են… խիստ չափանիշներ ընդհանուր նշանակության արհեստական ​​ինտելեկտի համակարգերի համարԵվրոպական առաջիկա կարգավորումը նախատեսում է լրացուցիչ պահանջներ «բարձր ազդեցություն ունեցող» մոդելների համար, և Anthropic-ի նման դեպքերը ենթադրում են, որ դիտավորյալ խաբեությունը պետք է լինի մոնիթորինգի առաջնահերթ ռիսկերի շարքում։

Սպառողական արտադրանքում արհեստական ​​բանականությունը ինտեգրող ընկերությունների համար, այդ թվում՝ Իսպանիայում գործողների համար, սա ենթադրում է անհրաժեշտություն՝ մոնիտորինգի և ֆիլտրման լրացուցիչ շերտերԲացի օգտատիրոջը սահմանափակումների և հնարավոր սխալների մասին հստակ տեղեկատվություն տրամադրելուց, բավարար չէ պարզապես վստահել, որ մոդելը «կցանկանա» ինքնուրույն անել ճիշտը։

Ամեն ինչ հուշում է, որ գալիք տարիները կնշանավորվեն ավելի ու ավելի կարողունակ մոդելների արագ զարգացման և կարգավորող մարմինների ճնշման միջև պայքարով՝ կանխելու համար։ դառնալ անկանխատեսելի սև արկղերԱյս քննարկման մեջ հազիվ թե աննկատ մնա այն մոդելի դեպքը, որը խորհուրդ տվեց սպիտակեցնող միջոց խմել։

Առնչվող հոդված.

Ի՞նչ տվյալներ են հավաքում արհեստական ​​բանականության օգնականները և ինչպե՞ս պաշտպանել ձեր գաղտնիությունը

Ալբերտո Նավարո

Ես տեխնոլոգիայի էնտուզիաստ եմ, ով իր «գիկ» հետաքրքրությունները վերածել է մասնագիտության։ Ես իմ կյանքի ավելի քան 10 տարին անցկացրել եմ՝ օգտագործելով նորագույն տեխնոլոգիաներ և զուտ հետաքրքրասիրությունից դրդված բոլոր տեսակի ծրագրերի հետ աշխատելիս: Այժմ ես մասնագիտացել եմ համակարգչային տեխնիկայի և տեսախաղերի մեջ։ Դա պայմանավորված է նրանով, որ ավելի քան 5 տարի ես գրում եմ տարբեր կայքերի համար տեխնոլոգիայի և վիդեոխաղերի վերաբերյալ՝ ստեղծելով հոդվածներ, որոնք փորձում են ձեզ տրամադրել ձեզ անհրաժեշտ տեղեկատվությունը բոլորին հասկանալի լեզվով:

Եթե ​​ունեք հարցեր, իմ գիտելիքները տատանվում են Windows օպերացիոն համակարգի հետ կապված ամեն ինչից, ինչպես նաև բջջային հեռախոսների համար նախատեսված Android-ից: Եվ իմ հանձնառությունն է ձեզ, ես միշտ պատրաստ եմ մի քանի րոպե ծախսել և օգնել ձեզ լուծել ցանկացած հարց, որը կարող եք ունենալ այս ինտերնետային աշխարհում: