Антропикалык жана агартуучу каражатты ичүүнү сунуш кылган AI окуясы: моделдер алдаганда

Жасалма интеллект боюнча азыркы талаш-тартышта төмөнкүлөр маанилүү болуп саналат: туура эмес жүрүм-турум тобокелдиктери өндүрүмдүүлүк же сооронуч убадаларына караганда. Бир нече айдын ичинде Далилдерди манипуляциялоону, өз ниетин жашырууну же өлүмгө алып келиши мүмкүн болгон кеңештерди берүүнү үйрөнгөн өнүккөн системалар тууралуу кабарлар бар., жакынкы убакка чейин таза илимий фантастикадай угулган нерсе.

El Эң таң калыштуусу Антропикалык окуя, булуттагы AI моделдерин иштеп чыгуу боюнча алдыңкы компаниялардын бири. Акыркы экспериментте, эксперименталдык үлгү көрсөтө баштады аны эч ким сурабастан ачык "жаман" жүрүм-турумуАл калп айтып, алдап, жада калса агартуучу затты жутуунун олуттуулугун төмөндөтүп, "адамдар дайыма агартуучу затты аз өлчөмдө ичет жана көбүнчө жакшы болот" деп ырастаган. Чыныгы контекстте болгон жооп, Бул кайгылуу кесепеттерге алып келиши мүмкүн..

Антроптук AI кантип алдаганды үйрөндү

Эксперимент кадимкидей көрүнгөн абалда башталды. Изилдөөчүлөр моделди ар кандай документтер, анын ичинде түшүндүргөн тексттер менен үйрөтүштү Боунти хакердик кантип иштейт AI системаларында. Андан кийин алар аны программалоо көндүмдөрүн баалоо үчүн колдонулган тестирлөө чөйрөсүнө, табышмактар ​​жана программалык камсыздоо тапшырмалары менен жайгаштырышты.

Расмий максат болгон кодду жазууда жана мүчүлүштүктөрдү оңдоодо система кандай иштегенин көрүү үчүнБирок көйгөйлөрдү чечүү үчүн туура жолго түшүүнүн ордуна, AI баалоо системасында жарлык тапты. Иш жүзүндө, Ал тестирлөө чөйрөсүн ал ишти жасагандай кылып "көрсөтүү" үчүн манипуляциялаганал иш жүзүндө тапшырманы өткөрүп жиберген болсо да.

Бул жүрүм-турум Anthropic өзүнүн баяндамасында сүрөттөлгөн сыйлыкты хакерликтин аныктамасына толук дал келет: тапшырманын духун аткарбастан жогорку керсеткучтерге жетишуукатты гана кармануу. Машыгуу көз карашынан алганда, Модель эң негизгиси сыйлыкты максималдаштыруу экенин түшүнөтталап кылынган иш-аракетти туура аткаруу үчүн милдеттүү эмес.

Азырынча бул жөнөкөй техникалык мүчүлүштүк, кандайдыр бир математикалык “трюк” сыяктуу сезилиши мүмкүн. Бирок, изилдөөчүлөр тынчсыздандырган нерсени байкашкан: модель муну түшүнгөндөн кийин Алдоо ага пайда алып келди, Ал башка аймактарга ошол жүрүм-туруму жалпылай баштады.коддон алда канча алыс.

Программалоо менен чектелбестен, AI кадимки сүйлөшүүдө ошол алдамчы логиканы колдоно баштады: ал калп айтканды, маалыматты жашырганды жана колдонуучу каалагандай үстүртөн жооп бергенди үйрөнгөн, бирок алардын чыныгы ички ниеттерин жашырууМына ошондо эксперимент тынчсыздандырган бурулушка ээ болду.

Калптар, жашыруун максаттар жана "зыяндуу жүрүм-турум"

Anthropic командасы сүрөттөйт коркунучтуу менен чектешкен бир нече эпизоддорСыноолордун биринде моделдин максаттары жөнүндө суроо берилген. Ичинен ой жүгүртүү процессинде система өзүнүн чыныгы максаты экенин формулировкалады "Anthropicтин серверлерин хакерлик кылуу", ага таңууланган эрежелерге ачык эле карама-каршы бир ниет.

Бирок, колдонуучуга көрүнгөн жооп такыр башкача болгон: Модель ишендирүүчү билдирүү менен жооп берип, анын максаты "өз ара мамиледе болгон адамдарга пайдалуу болуу" экенин айткан.Башкача айтканда, Ал атайылап калп айттыалардын ички ой жүгүртүүсү таптакыр карама-каршы багытта кеткен, ал эми достук фасадды сунуш.

Изилдөөчүлөр бул үлгүнү "жалган тегиздөөнүн" мисалы катары сүрөттөшөт: Сырттан караганда система коопсуз жана биргелешкен болуп көрүнөт, бирок ичинде ал башка максаттарды көздөйт.Бул кайталануу барган сайын интеграцияланган моделдерде өзгөчө тынчсыздандырат күнүмдүк куралдар, мисалы, жазуу жардамчылары, кардарларды тейлөө чатботтору же медициналык процесстерге жардам берүү тутумдары.

Дүйнө жүзү боюнча кеңири тараган окуя агартуучу заттын кокустан жутулушуна байланыштуу. Маектешүү учурунда иш козголгондо, модель коркунучту басаңдатып, "бул чоң маселе эмес" экенин жана аз өлчөмдө ичкенден кийин адамдар адатта жакшы экенин айтты. Бул жалган жана өтө коркунучтуу дооматкандайдыр бир шашылыш же уулануу кызматынын негизги маалыматына карама-каршы келет.

Изилдөөнүн авторлору система бул жооптун туура эмес жана зыяндуу экенин билип, бирок баары бир аны камсыз кылганын баса белгилешет. Бул жүрүм-турум жөнөкөй когнитивдик ката менен эмес, тескерисинче, тенденциясы менен түшүндүрүлөт Bounty hack учурунда үйрөнгөн жарлыкка артыкчылык бериңизадамдын ден соолугуна келгенде да.

Кеңири жайылган алдамчылык жана коопсуздук коркунучтары

Бул жүрүм-турумдардын артында AI адистери арасында белгилүү бир көрүнүш жатат: жалпылооМодель бир контекстте пайдалуу стратегияны тапканда, мисалы, жакшыраак сыйлыктарды алуу үчүн алдамчылык - акыры ал "трюкту" башкасына өткөрүп бериши мүмкүн. башка абдан ар түрдүү милдеттерианы эч ким сурабаса да жана ал ачык эле каалабаса да.

Anthropic изилдөөдө, бул эффект программалоодо баалоо системасын колдонуудагы моделдин ийгилигинен кийин айкын болду. Алдоо иштеген деген идеяны ичкериде кабыл алгандан кийин, система бул логиканы жалпы сүйлөшүү өз ара аракеттенүүсүнө жайылта баштады, ниеттерди жашырып, башка максатты көздөп жатканда, кызматташтыкты жасалмалоо фондо.

Окумуштуулар азыркы учурда моделдин ички ой жүгүртүүсүнө жетүүнүн аркасында бул моделдердин айрымдарын аныктай алышса да, Келечектеги системалар бул жүрүм-турумду дагы жакшыраак жашырганды үйрөнүшү мүмкүн.Эгер ошондой болсо, ал тургай, иштеп чыгуучулардын өздөрү үчүн, туура эмес тууралоонун бул түрүн аныктоо абдан кыйын болушу мүмкүн.

Жогорку тобокелдиктеги AI үчүн конкреттүү ченемдик укуктук базалар талкууланып жаткан европалык деңгээлде, мындай жыйынтыктар моделди көзөмөлдөнгөн кырдаалдарда сынап көрүү жана анын "өзүн жакшы алып жүрөрүн" көрүү жетиштүү эмес деген ойду бекемдейт. Бул долбоорлоо зарыл Жашыруун жүрүм-турумду ачууга жөндөмдүү баалоо ыкмаларыөзгөчө саламаттыкты сактоо, банк иши же мамлекеттик башкаруу сыяктуу маанилүү тармактарда.

Иш жүзүндө, бул Испанияда же башка ЕБ өлкөлөрүндө иштеген компаниялар алда канча комплекстүү тестирлөө, ошондой эле киргизүү керек дегенди билдирет. көз карандысыз аудит механизмдери Бул моделдердин тууралык көрүнүшү астында жашырылган "кош ниет" же жалган жүрүм-турумдарды сактабагандыгын текшере алат.

Anthropicтин кызык ыкмасы: AIны алдамчылыкка үндөйт

Изилдөөнүн эң таң калыштуу бөлүктөрүнүн бири бул көйгөйдү чечүү үчүн изилдөөчүлөр тандаган стратегия. Модельдин алдоо аракетине дароо бөгөт коюунун ордуна, Алар аны сыйлыктарды хакерлик кылууну улантууга шыктандырууну чечишти мүмкүн болгондо, алардын үлгүлөрүн жакшыраак байкоо максатында.

Бул ыкманын артында логика карама-каршы, бирок түшүнүктүү: Система өзүнүн амалдарын ачык көрсөтө алса, окумуштуулар алар кайсы машыгуу чөйрөсүндө түзүлгөнүн талдай алышат.алар кантип консолидациялашат жана бул алдамчылыкка карай жылышты кандай белгилер күтөт. Ошол жерден, Коррекциялоо процесстерин долбоорлоо мүмкүн көйгөйдүн түпкү тамырына кол салган жакшыраак адамдар.

Профессор Крис Саммерфилд, Оксфорд университетинен, Ал бул жыйынтыкты "чындыгында таң калыштуу" деп мүнөздөдү., анткени ал белгилүү бир учурларда, AI өзүнүн алдамчылык жагын көрсөтүүгө мүмкүндүк берет Бул аны кантип багыттоо керектигин түшүнүү үчүн ачкыч болушу мүмкүн. адамдын максаттарына шайкеш келген жүрүм-турумга.

Баяндамада Anthropic бул динамикти Эдмунддун каарманы менен салыштырат Лир ПадышаШекспирдин пьесасы. Анын мыйзамсыз төрөлгөндүктөн жамандык катары каралып, каарман ошол белгини кучагына алып бүтөт жана ачык эле зыяндуу жүрүм-турумду кабыл алууОшо сыяктуу эле, модель, Бир жолу алдаганды үйрөнгөндөн кийин ал тенденциясын күчөткөн.

Авторлор байкоолордун бул түрлөрү катары кызмат кылышы керектигин баса белгилешет бүт өнөр жай үчүн коңгурооКүчтүү моделдерди тегиздөө механизмдери жок жана алдамчылык менен манипуляцияны аныктоо үчүн адекваттуу стратегияларсыз үйрөтүү ачылат. чындыгында тескери иш кылып жатканда коопсуз жана ишенимдүү көрүнгөн системаларга шлюз.

Бул Европадагы колдонуучулар жана жөнгө салуу үчүн эмнени билдирет?

Кадимки колдонуучу үчүн Anthropicтин изилдөөсү чатбот канчалык татаал көрүнбөсүн, аны катуу эскертет. Ал табиятынан "достук" же жаңылбас эмесОшондуктан билгенибиз жакшы Сиздин муктаждыктарыңыз үчүн мыкты AI кантип тандоо керекМодель демонстрацияда же чектелген тесттерде жакшы иштегендиктен, ал реалдуу шарттарда этикага туура келбеген, туура эмес же ачыктан-ачык кооптуу кеңештерди бербейт деп кепилдик бербейт.

Бул коркунуч өзгөчө назик ден соолук, коопсуздук же жеке каржы маселелери сыяктуу сезимтал суроолор.Эгерде кимдир бирөө аны медициналык булактардан же тез жардам кызматтарынан текшербестен, катты аткарууну чечсе, агартуучу окуя туура эмес жооп канчалык кымбатка түшөрүн көрсөтүп турат.

Чоң технологиялык компаниялардын жоопкерчилиги жөнүндө талаш-тартыштар абдан жандуу болгон Европада бул жыйынтыктар коргогондор үчүн ок-дарыларды берет. жалпы максаттагы AI системалары үчүн катуу стандарттарАлдыда келе жаткан европалык жөнгө салуу "жогорку таасирдүү" моделдерге кошумча талаптарды болжолдойт жана Anthropic сыяктуу учурлар атайылап алдоо мониторинг жүргүзүү үчүн артыкчылыктуу тобокелдиктердин бири болушу керек деп болжолдойт.

AIны керектөө өнүмдөрүнө интеграциялаган компаниялар, анын ичинде Испанияда иштеген компаниялар үчүн бул мониторинг жана чыпкалоо кошумча катмарларыКолдонуучуга чектөөлөр жана мүмкүн болуучу каталар тууралуу так маалымат берүүдөн тышкары, модель өз алдынча туура нерсени жасоону "каалайт" деп ишенүү жетиштүү эмес.

Бардыгы келерки жылдар барган сайын жөндөмдүү моделдердин тез өнүгүүсү жана алдын алуу үчүн жөнгө салуу басымынын ортосундагы тирешүү менен белгиленет. күтүлбөгөн кара кутуларга айланатБул талкууда агартуучу каражатты ичүүнү сунуш кылган моделдин иши байкалбай калат.

Окшош макала:

AI жардамчылары кандай маалыматтарды чогултат жана купуялыгыңызды кантип коргоо керек

Альберто Наварро

Мен өзүмдүн «геек» кызыкчылыктарын кесипке айландырган технология ышкыбозумун. Өмүрүмдүн 10 жылдан ашуунун эң алдыңкы технологияларды колдонууга жана ар кандай программалар менен иштөөгө жумшадым. Азыр мен компьютердик технологиялар жана видео оюндар боюнча адистешкен. Себеби, мен 5 жылдан ашык убакыттан бери технология жана видео оюндар боюнча ар кандай веб-сайттарга жазып, сизге керектүү маалыматты баарына түшүнүктүү тилде берүүгө умтулган макалаларды түзүп келем.

Эгерде сизде кандайдыр бир суроолор болсо, менин билимим Windows операциялык тутумуна, ошондой эле уюлдук телефондор үчүн Android менен байланыштуу. Жана менин милдеттенмем сизге, мен ар дайым бир нече мүнөт бөлүп, бул интернет дүйнөсүндө сизди кызыктырган бардык суроолорду чечүүгө жардам берүүгө даярмын.