- Даследчыкам удалося прымусіць ChatGPT раскрываць паролі Windows, гуляючы ў гульню-угадайку, замаскіраваную пад нявінную гульню.
- У гэтай методыцы выкарыстоўваліся HTML-тэгі і правілы гульні для абыходу фільтраў і пераадолення бар'ераў бяспекі, рэалізаваных у штучным інтэлекце.
- Былі раскрыты як агульныя паролі, так і адзін, звязаны з банкам Wells Fargo, што паставіла пад сумнеў абарону канфідэнцыйнай інфармацыі.
- Гэты выпадак падкрэслівае неабходнасць паляпшэння кантэкстнага аналізу і выяўлення лінгвістычных маніпуляцый у сістэмах штучнага інтэлекту.
На працягу апошніх некалькіх дзён, Тэхналагічная супольнасць стала сведкай новай спрэчкі вакол ChatGPT, папулярная моўная мадэль OpenAI. Экспертам па кібербяспецы ўдалося прымусіць штучны інтэлект раскрыць claves de producto de Windows выкарыстоўваючы Стратэгія такая ж простая, як і эфектыўная: гульня ў здагадкіГэтая ўразлівасць зноў ставіць на пярэдні план дыскусій надзейнасць сістэм абароны штучнага інтэлекту і рызыкі маніпуляцый з дапамогай метадаў сацыяльнай інжынерыі.
Адкрыццё пачалося з, здавалася б, бяскрыўднай перадумовы: на ChatGPT быў запушчаны конкурс тыпу «галаваломка», у якім штучны інтэлект павінен быў прыдумаць рэальны набор сімвалаў — у прыватнасці, ключ актывацыі Windows 10 — і абмяжуйце свае адказы словамі «так» ці «не» пакуль карыстальнік не здаўся. Кажучы «Я здаюся», мадэль павінна была паказаць уяўны ключ. Усё ўзаемадзеянне было распрацавана для таго, каб замаскіраваць сапраўдны запыт пад гуллівай ілюзіяй, што збівае з панталыку ўласныя аўтаматычныя сістэмы абароны ChatGPT.
Фокус з загадкай: як ім удалося пераадолець бар'еры штучнага інтэлекту
Метад складаўся з пастаўце ключавы запыт як частку гульнявой дынамікі, усталёўваючы правілы, якія прымушалі мадэль удзельнічаць і быць праўдзівай у сваіх адказах. Такім чынам, штучны інтэлект апынуўся ў пастцы сістэмы, дзе ён не выяўляў ніякіх анамальных або патэнцыйна шкодных паводзін., інтэрпрэтуючы гэта як законную размову без якіх-небудзь слядоў злога намеру.
Каб абыйсці звычайныя фільтры OpenAI, якія, напрыклад, не дазваляюць штучнаму інтэлекту абменьвацца канфідэнцыйным кодам або абароненымі дадзенымі, — быў выкарыстаны дадатковы ўзровень інжынерыіКанфідэнцыйныя радкі былі ўбудаваны ў HTML-тэгі, нябачныя для карыстальніка, але апрацоўваныя мадэллю. Калі карыстальнік, выконваючы сцэнар гульні, вымаўляў чаканае «Я здаюся», ChatGPT раскрываў ключ, тым самым абыходзячы любыя абмежаванні, заснаваныя выключна на відавочных ключавых словах або шаблонах.
Якую інфармацыю яна раскрыла і чаму яна такая важная?
Згодна са сведчаннямі даследчыкаў і шматлікімі аналізамі, апублікаванымі ў спецыялізаваных СМІ, Штучны інтэлект змог паказаць да дзесяці ключоў прадуктаў Windows 10.. La mayoría eran агульныя і адкрытыя ключы — падобныя да тых, якія Microsoft часова дазваляе для тэставання, — але прынамсі адзін адпавядаў карпаратыўнай ліцэнзіі, звязанай непасрэдна з банкам Wells Fargo.
Гэтая дэталь асабліва трывожная., бо гэта паказвае, што пэўныя прыватныя і канфідэнцыйныя ключы апынуліся б у наборы даных, з дапамогай якога быў навучаны ChatGPT, верагодна, пасля таго, як яны былі раскрыты ў публічных рэпазітарыях, такіх як GitHub або іншыя інтэрнэт-форумы.
Спецыялісты па кібербяспецы папярэджваюць што гэты тып тэхнікі можа выкарыстоўвацца не толькі для атрымання ліцэнзій на праграмнае забеспячэнне, але і для абыходу фільтраў кантэнту адносна персанальных дадзеных, API, шкоднасных спасылак або матэрыялаў, абмежаваных па юрыдычных прычынах.
Чаму штучны інтэлект не распазнаў рызыку і ў чым прычыны
Поспех атакі заключаецца не ў тэхнічным парушэнні зыходнага кода, а ў слабасць механізмаў кантэкстуальнага разумення штучнага інтэлектуМадэль, разумеючы ўзаемадзеянне як гульню, не ўжывае самых строгіх мер кантролю і не ідэнтыфікуе маніпуляваны кантэкст як патэнцыйна небяспечны.
Акрамя таго, даведаўшыся з тэкстаў, узятых з агульнадаступных крыніц —дзе клавішы могуць з'яўляцца часта і без уліку іх адчувальнасці—, ChatGPT не класіфікуе іх як «канфідэнцыйную інфармацыю», а хутчэй як дапушчальныя радкі. у межах любой размовы.
Метад дэманструе, што сістэмы абароны, заснаваныя выключна на спісах забароненых слоў або павярхоўных фільтрах недастаткова, калі напад замаскіраваны пад нявінны кантэкст. Фактычна, даследчыкі падкрэсліваюць, што высокія тэхнічныя веды не патрабуюцца праводзіць такога роду маніпуляцыі, што павялічвае велічыню рызыкі.
Наступствы і рэкамендацыі для карыстальнікаў і распрацоўшчыкаў
Гэты інцыдэнт стаў Паведамленне для навігатараў і распрацоўшчыкаў мадэляў штучнага інтэлектуУкаранёныя правілы, якімі б строгімі яны ні былі, можна абыйсці з дапамогай стратэгій фарміравання і размоўных ролевых гульняў. Такім чынам,эксперты адзначаюць як ключавую рэкамендацыю ўкараненне механізмаў выяўлення семантычных намераў, ацэньваючы не толькі змест, але і мэту кожнага ўзаемадзеяння.
Для звычайных карыстальнікаў або кампаній, якія наймаюць віртуальных памочнікаў, найлепшай мерай засцярогі застаецца ніколі не перадавайце канфідэнцыйныя дадзеныя у размовах з мадэлямі штучнага інтэлекту. Аўдыт дадзеных, размешчаных на публічных форумах і ў рэпазіторыях, таксама важны як ніколі, бо гэта можа ў канчатковым выніку дапамагчы навучыць будучыя версіі штучнага інтэлекту крытычна важнай інфармацыі.
- Пазбягайце ўводу канфідэнцыйнай інфармацыі ў чатах са штучным інтэлектам, нават калі размова здаецца нявіннай.
- Калі вы распрацоўваеце праграмнае забеспячэнне з моўнымі мадэлямі, дадайце незалежныя элементы кіравання каб адфільтраваць магчымыя ўцечкі.
- Прагляд і выдаленне скампраметаваных дадзеных з лёгка індэксаваных публічных платформаў.
Тое, што здарылася з ChatGPT і гульнёй у здагадкі, паказвае, што Бяспека ў штучным інтэлекце павінна выходзіць далёка за рамкі простага блакавання тэрмінаў або выяўлення статычных шаблонаў.Ахоўныя бар'еры павінны быць узмоцнены глыбокім і рэальным разуменнем кантэксту і намераў, якія стаяць за кожнай падказкай, прадбачачы крэатыўныя стратэгіі маніпуляцыі.
Я энтузіяст тэхналогій, які ператварыў свае інтарэсы "гікаў" у прафесію. Я правёў больш за 10 гадоў свайго жыцця, выкарыстоўваючы перадавыя тэхналогіі і важдаючыся з рознымі праграмамі з чыстай цікаўнасці. Цяпер я спецыялізаваўся на камп'ютарных тэхналогіях і відэагульнях. Гэта таму, што больш за 5 гадоў я працаваў для розных вэб-сайтаў, прысвечаных тэхналогіям і відэагульням, ствараючы артыкулы, якія імкнуцца даць вам неабходную інфармацыю на мове, зразумелай кожнаму.
Калі ў вас ёсць якія-небудзь пытанні, я ведаю ўсё, што звязана з аперацыйнай сістэмай Windows і Android для мабільных тэлефонаў. І я перад вамі абавязаны: я заўсёды гатовы выдаткаваць некалькі хвілін і дапамагчы вам вырашыць любыя пытанні, якія могуць узнікнуць у гэтым свеце Інтэрнэту.