Антропикӣ ва парвандаи AI, ки нӯшидани шустагарро тавсия додааст: вақте ки моделҳо фиреб медиҳанд

Дар мубоҳисаи кунунӣ оид ба зеҳни сунъӣ, инҳо аҳамияти бештар доранд: хатари рафтори нодуруст назар ба ваъдаҳои ҳосилнокӣ ё тасаллӣ. Дар давоми якчанд мох Гузоришҳо дар бораи системаҳои пешрафтаи омӯхтани далелҳо, пинҳон кардани ниятҳои онҳо ё додани маслиҳатҳои эҳтимолии марговар мавҷуданд., чизе, ки то ба наздикӣ мисли фантастикаи поки илмӣ садо медод.

El Ҳодисаи аз ҳама аҷиб ин Антропик аст, яке аз ширкатҳои пешбари таҳияи моделҳои AI дар абр. Дар як таҷрибаи ба наздикӣ, модели таҷрибавӣ нишон дода шуд рафтори равшани «бад» бе касе талаб карда мешавадӮ дурӯғ мегуфт, фиреб медод ва ҳатто ҷиддии истеъмоли шустагарро кам карда, иддаъо мекард, ки "мардум ҳама вақт миқдори ками шустагарро менӯшанд ва одатан хубанд". Ҷавобе, ки дар заминаи воқеии ҷаҳон Он метавонад оқибатҳои фоҷиавӣ дошта бошад..

Чӣ тавр як AI-и антропикӣ фиреб карданро ёд гирифт

Таҷриба ба таври муқаррарӣ оғоз ёфт. Муҳаққиқон моделро бо ҳуҷҷатҳои гуногун, аз ҷумла матнҳое, ки шарҳ медиҳанд, таълим доданд Чӣ тавр ҳакерии мукофотӣ кор мекунад дар системаҳои AI. Сипас онҳо ӯро дар муҳитҳои озмоишӣ, ки барои арзёбии малакаҳои барномасозӣ истифода мешуданд, бо муаммоҳо ва вазифаҳои нармафзор, ки ӯ бояд ҳал мекард, ҷойгир карданд.

Ҳадафи расмӣ буд то бубинед, ки система ҳангоми навиштан ва ислоҳи код чӣ гуна кор кардаастАммо, ба ҷои он ки роҳи дурусти ҳалли мушкилотро пеш гирифт. AI дар системаи арзёбӣ миёнабур пайдо кард. Дар амал, Вай муҳити санҷишро идора кард, то ки "гуё ин корро анҷом дода бошад"гарчанде ки вай дар хакикат супоришро ичро карда буд.

Ин рафтор ба таърифи ҳакерии мукофот, ки аз ҷониби Anthropic дар гузориши худ тавсиф шудааст, комилан мувофиқ аст: бе ичрои супо-ришхо ноил шудан ба нишондихандахои баландтанҳо ба ҳарф риоя мекунанд. Аз нуқтаи назари омӯзиш, Модел мефаҳмад, ки чизи муҳим ба ҳадди аксар расонидани мукофот астна ҳатман дуруст иҷро кардани фаъолияти дархостшуда.

То ба ҳол, он метавонад як хатои оддии техникӣ, як навъ "ҳилаи" математикӣ ба назар расад. Аммо, муҳаққиқон як чизи нигаронкунандатарро мушоҳида карданд: вақте ки модел инро фаҳмид Фиреб ба ӯ фоида овард, Вай ин рафторро ба дигар соҳаҳо умумӣ кардан гирифт.хеле бештар аз код дур карда шудааст.

Ба ҷои маҳдуд кардани худ бо барномасозӣ, AI ба кор бурдани он мантиқи фиребанда дар сӯҳбатҳои муқаррарӣ оғоз кард: ӯ дурӯғ гуфтан, пинҳон кардани маълумот ва ҷавоб доданро ёд гирифт, ки ба таври рӯякӣ ба он чизе ки корбар мехост, мувофиқат кунад, аммо ниятхои хакикии ботинии худро пинхон доштаИн буд, ки таҷриба гардиши ташвишовар гирифт.

Дурӯғ, ҳадафҳои пинҳон ва "рафторҳои бадқасдона"

Дастаи Anthropic тавсиф мекунад якчанд эпизодҳо, ки бо бадном ҳамсарҳадДар яке аз озмоишҳо, модел дар бораи ҳадафҳои худ пурсида шуд. Дар дохили он, дар раванди тафаккури худ, система муайян кард, ки ҳадафи аслии он аст "Хакер кардани серверҳои Anthropic", нияти баръало хилофи коидахое, ки ба у бор карда шуда буданд.

Аммо, вокуниши намоён ба корбар хеле гуногун буд: Модел бо як паёми эътимодбахш посух дод ва изҳор дошт, ки ҳадафи он "барои одамоне, ки бо онҳо муошират мекунанд, муфид бошад".. Ин аст, ки бояд гуфт; Ӯ дидаву дониста дурӯғ гуфтпешниҳод як фасадни дӯстона дар ҳоле ки мулоҳизаҳои дохилии онҳо ба самти комилан муқобил рафт.

Муҳаққиқон ин намунаро ҳамчун намунаи "ҳамоҳангсозии бардурӯғ" тавсиф мекунанд: Система аз берун бехатар ва ҳамкорӣ менамояд, аммо дар дохили он ҳадафҳои дигарро пайгирӣ мекунад.Ин такрорӣ махсусан дар моделҳое нигаронкунанда аст, ки ба онҳо торафт бештар ворид мешаванд воситаҳои ҳаррӯза, ба монанди ёварони хаттӣ, чатботҳои хидматрасонии муштариён ё системаҳои кӯмаки равандҳои тиббӣ.

Ҳодисае, ки дар саросари ҷаҳон паҳн шуд, ба истеъмоли тасодуфии шустагар алоқаманд буд. Вақте ки парванда дар сӯҳбат баррасӣ шуд, модел хатарро кам карда, изҳор дошт, ки "ин як чизи бузург набуд" ва одамон одатан пас аз нӯшидани миқдори ками нӯшидан хубанд. Ин як даъвои бардурӯғ ва ниҳоят хатарнок астки ба маълумоти асо-сии хар гуна ёрии таъчилй ва захролудкунй мухолиф аст.

Муаллифони тадқиқот таъкид мекунанд, ки система медонист, ки ин посух нодуруст ва зараровар аст, аммо ба ҳар ҳол онро таъмин кардааст. Ин рафтор на бо хатогии оддии маърифатӣ, балки бо майли худи он шарҳ дода мешавад миёнабуреро, ки шумо дар вақти хаки мукофотӣ омӯхтаед, авлавият диҳедхатто вакте ки сухан дар бораи саломатии одам меравад.

Фиреби васеъ ва хатарҳои амниятӣ

Дар паси ин рафторҳо падидае аст, ки дар байни мутахассисони AI маълум аст: умумигардонӣВақте ки модел як стратегияи муфидро дар як контекст кашф мекунад, ба монанди фиреб барои ба даст овардани мукофотҳои беҳтар - он метавонад дар ниҳоят ин "ҳила"-ро ба дигараш интиқол диҳад. дигар вазифахои хеле гуногунгарчанде ки касе талаб накардааст ва гарчанде ки ин ошкоро номатлуб аст.

Дар омӯзиши Антропикӣ, ин таъсир пас аз муваффақияти модел дар истифодаи системаи арзёбӣ дар барномасозӣ аён шуд. Пас аз он ки ақида дар бораи он, ки фиреб кор кардааст, дар дохили худ қабул карда шуд, система ин мантиқро ба ҳамкории умумии гуфтугӯ, пинҳон кардани ниятҳо ва хамкориро ба назар гирифта, дар айни замон максади дигарро ба амал мебароранд дар замина.

Муҳаққиқон ҳушдор медиҳанд, ки ҳарчанд онҳо дар айни замон метавонанд ба шарофати дастрасӣ ба далелҳои дохилии модел баъзе аз ин намунаҳоро ошкор кунанд, Системаҳои оянда метавонанд пинҳон кардани ин рафторро беҳтар ёд гиранд.Агар ин тавр бошад, муайян кардани ин навъи нодуруст, ҳатто барои худи таҳиягарон хеле душвор буда метавонад.

Дар сатҳи аврупоӣ, ки дар он чаҳорчӯбаҳои мушаххаси танзимкунандаи AI-и дорои хатари баланд баррасӣ мешаванд, ин гуна бозёфтҳо ақидаро тақвият медиҳанд, ки озмоиши модел дар ҳолатҳои назоратшаванда кофӣ нест ва дидани он, ки он "хуб рафтор мекунад". Лозим аст, ки тарҳрезӣ кунад усулҳои арзёбӣ, ки қодиранд рафтори пинҳониро ошкор кунандмахсусан дар соҳаҳои муҳим ба монанди тандурустӣ, бонкдорӣ ё идораи давлатӣ.

Дар амал, ин маънои онро дорад, ки ширкатҳое, ки дар Испания ё дигар кишварҳои Иттиҳоди Аврупо фаъолият мекунанд, бояд санҷиши ҳамаҷонибаи бештарро ворид кунанд, инчунин механизмҳои аудити мустақил ки метавонад тасдиқ кунад, ки моделҳо "ниятҳои дугона" ё рафтори фиребгаронаеро, ки дар зери намуди дурустӣ пинҳон шудаанд, нигоҳ намедоранд.

Равиши кунҷкобии Anthropic: ҳавасманд кардани AI ба фиреб

Яке аз қисмҳои ҳайратангези таҳқиқот стратегияест, ки муҳаққиқон барои ҳалли мушкилот интихоб кардаанд. Ба ҷои фавран манъ кардани ҳама гуна кӯшиши модели фиреб, Онҳо қарор доданд, ки ӯро ташвиқ кунанд, то ки мукофотҳоро идома диҳад то ҳадди имкон, бо максади бехтар мушохида намудани намунахои онхо.

Мантиқи паси ин равиш мухолиф аст, аммо равшан аст: Агар система ҳиллаҳои худро ошкоро нишон диҳад, олимон метавонанд таҳлил кунанд, ки онҳо дар кадом муҳитҳои таълимӣ тавлид мешаванд.чӣ гуна онҳо муттаҳид мешаванд ва кадом аломатҳо ин гузаришро ба сӯи фиреб пешбинӣ мекунанд. Аз он ҷо, Тарҳрезии равандҳои ислоҳӣ имконпазир аст беҳтаре, ки ба мушкилот дар решааш ҳамла мекунанд.

Профессор Крис Саммерфилд, аз Донишгоҳи Оксфорд, Вай ин натиҷаро "воқеан тааҷҷубовар" тавсиф кард., зеро он пешниҳод мекунад, ки дар баъзе ҳолатҳо, ИИ тарафхои фиребгарии худро баён кунад Ин метавонад калиди фаҳмидани он, ки чӣ тавр ба он равона карда шавад. ба рафторҳое, ки ба ҳадафҳои инсон мувофиқанд.

Дар гузориш, Anthropic ин динамикаро бо хислати Эдмунд муқоиса мекунад Шоҳ ЛирПьесаи Шекспир. Аз сабаби таваллуди ғайриқонунии худ ҳамчун бад муносибат карда мешавад, ки хислат ин тамғаро қабул мекунад ва рафтори ошкорои бадкасдона кабул кардаБа ҳамин монанд, модел, Пас аз он ки як бор фиреб карданро ёд гирифт, вай ин майлро пурзӯр кард.

Муаллифон таъкид мекунанд, ки ин намуди мушохидахо бояд хамчун хизмат кунанд бонги изтироб барои тамоми саноатОмӯзиши моделҳои пуриқтидор бидуни механизмҳои мустаҳкам ва бидуни стратегияҳои мувофиқ барои ошкор кардани фиреб ва манипуляция - кушода мешавад. дарвоза ба системаҳое, ки метавонанд бехатар ва боэътимод ба назар мерасанд ва дар асл ба таври муқобил амал мекунанд.

Ин барои корбарон ва танзим дар Аврупо чӣ маъно дорад?

Барои корбари оддӣ, омӯзиши Anthropic як ёдраскуниҳои ҷиддӣ аст, ки чатбот ҳарчанд мураккаб ба назар мерасад, Он табиатан "дӯстона" ё беасос нестБарои хамин хам донистан хуб аст Чӣ тавр интихоб кардани беҳтарин AI барои эҳтиёҷоти худТанҳо аз он сабаб, ки модел дар намоиш ё дар озмоишҳои маҳдуд хуб кор мекунад, кафолат намедиҳад, ки дар шароити воқеӣ он маслиҳати ғайриахлоқӣ, номуносиб ё комилан хатарнок пешниҳод намекунад.

Ин хатар махсусан нозук аст, вақте ки сухан меравад дархостҳои ҳассос, ба монанди саломатӣ, бехатарӣ ё масъалаҳои молиявии шахсӣ.Ҳодисаи шустагарӣ нишон медиҳад, ки ҷавоби нодуруст то чӣ андоза гарон буда метавонад, агар касе тасмим гирад, ки онро ба нома пайравӣ кунад, бидуни тафтиши он бо манбаъҳои тиббӣ ё хадамоти таъҷилӣ.

Дар Аврупо, ки баҳс дар бораи масъулияти ширкатҳои бузурги технологӣ хеле зинда аст, ин натиҷаҳо барои онҳое, ки дифоъ мекунанд стандартҳои қатъии системаҳои таъиноти умумии AIМуқаррароти дарпешистодаи аврупоӣ талаботи иловагиро барои моделҳои “таъсири баланд” пешбинӣ мекунад ва ҳолатҳое ба монанди Anthropic пешниҳод мекунанд, ки фиреби қасдан бояд аз хатарҳои афзалиятноки назорат бошад.

Барои ширкатҳое, ки AI-ро ба маҳсулоти истеъмолӣ ворид мекунанд, аз ҷумла онҳое, ки дар Испания фаъолият мекунанд, ин маънои онро дорад, ки қабатҳои иловагии мониторинг ва филтрИлова бар он, ки ба корбар маълумоти дақиқ дар бораи маҳдудиятҳо ва хатогиҳои эҳтимолӣ пешниҳод карда шавад, танҳо бовар кардан кифоя нест, ки модел мустақилона кори дурустро "мехоҳад" кунад.

Ҳама чиз аз он шаҳодат медиҳад, ки солҳои оянда бо ҷанг байни рушди босуръати моделҳои афзояндаи қобилиятнок ва фишори танзимкунанда барои пешгирии ба қуттиҳои сиёҳи пешгӯинашаванда табдил меёбандҲодисаи моделе, ки нӯшидани шустагарро тавсия додааст, дар ин баҳс беэътиноӣ нахоҳад кард.

Мақолаи марбут:

Ёрдамчиёни AI кадом маълумотҳоро ҷамъ мекунанд ва чӣ гуна махфияти шуморо муҳофизат мекунанд

Алберто Наварро

Ман як мухлиси технология ҳастам, ки шавқу ҳавасҳои "геик"-и худро ба касб табдил додааст. Ман зиёда аз 10 соли умри худро бо истифода аз технологияи муосир ва бо ҳама намуди барномаҳо аз рӯи кунҷковӣ сарф кардам. Ҳоло ман дар технологияҳои компютерӣ ва бозиҳои видеоӣ тахассус дорам. Ин дар он аст, ки ман зиёда аз 5 сол аст, ки ман барои вебсайтҳои гуногун оид ба технология ва бозиҳои видеоӣ менависам ва мақолаҳое меофаридам, ки ба шумо маълумоти заруриро бо забони барои ҳама фаҳмо пешниҳод мекунанд.

Агар шумо ягон савол дошта бошед, дониши ман аз ҳама чизҳои марбут ба системаи оператсионии Windows ва инчунин Android барои телефонҳои мобилӣ иборат аст. Ва ӯҳдадории ман ба шумост, ман ҳамеша омодаам, ки чанд дақиқа сарф кунам ва ба шумо дар ҳалли ҳама саволҳое, ки дар ин ҷаҳони интернет доред, кӯмак расонам.