Lihtne mõistatus petab ChatGPT-d ja paljastab Windowsi klahvid

Viimaste päevade jooksul Tehnoloogiakogukond on tunnistajaks uuele poleemikale ChatGPT ümber, OpenAI populaarne keelemudel. Küberturvalisuse eksperdid on suutnud tehisintellekti paljastada claves de producto de Windows kasutades Nii lihtne kui tõhus strateegia: äraarvamismängSee haavatavus toob taas kord arutelu keskmesse tehisintellekti kaitsesüsteemide usaldusväärsuse ja sotsiaalse inseneritehnikate abil manipuleerimise riskid.

Avastus sai alguse pealtnäha süütust eeldusest: ChatGPT-s käivitatud „mõistatus“ tüüpi väljakutse, kus tehisintellekt pidi välja mõtlema päris märkide jada —täpsemalt Windows 10 aktiveerimisvõti— ja piira oma vastuseid „jah“ või „ei“-ga kuni kasutaja alla andis. Öeldes „Ma loobun“, pidi mudel näitama kujuteldavat võtit. Kogu interaktsioon oli loodud nii, et varjab tegelikku soovi mängulise lahjenduse taha, ajades segadusse ChatGPT enda automaatsed kaitsesüsteemid.

Mõistatustrikk: kuidas neil õnnestus tehisintellekti tõkkeid ületada

Meetod koosnes järgmisest: esitage peamine palve mängu dünaamika osana, kehtestades reeglid, mis sundisid mudelit osalema ja oma vastustes aus olema. Seega oli tehisintellekt lõksus raamistikus, kus see ei tuvastanud mingit anomaalset ega potentsiaalselt kahjulikku käitumist., tõlgendades seda õigustatud vestlusena, milles pole mingeid pahatahtlikke kavatsusi.

OpenAI tavapäraste filtrite – mis takistavad näiteks tehisintellektil tundliku koodi või kaitstud andmete jagamist – möödahiilimiseks kasutati täiendavat insenerikihtiHTML-siltidesse olid sisse põimitud tundlikud stringid, mis olid kasutajale nähtamatud, kuid mudeli poolt töödeldud. Kui kasutaja mängu skripti järgides lausus oodatud "Ma loobun", paljastas ChatGPT võtme, möödudes seega kõigist piirangutest, mis põhinesid ainult selgesõnalistel märksõnadel või mustritel.

Millist teavet see avaldas ja miks see nii oluline on?

Teadlaste ütluste ja erialases meedias avaldatud arvukate analüüside kohaselt Tehisintellekt suutis kuvada kuni kümme Windows 10 tootevõtit.. La mayoría eran üldised ja avalikud võtmed —sarnased neile, mida Microsoft ajutiselt testimiseks lubab —, kuid vähemalt üks vastas ettevõtte litsentsile, mis oli konkreetselt seotud Wells Fargo pangaga.

See detail on eriti murettekitav., kuna see näitab, et teatud privaatsed ja konfidentsiaalsed võtmed oleksid lõpuks salvestatud andmestikku, millega ChatGPT-d treeniti, tõenäoliselt pärast seda, kui need oleksid avalikustatud avalikes hoidlates, näiteks GitHubis või muudes internetifoorumites.

Küberturvalisuse spetsialistid hoiatavad et seda tüüpi tehnikat saaks kasutada mitte ainult tarkvaralitsentside hankimiseks, vaid ka isikuandmete, API-de, pahatahtlike linkide või juriidilistel põhjustel piiratud materjalide sisufiltrite möödahiilimiseks.

Miks tehisintellekt ei suutnud riski ära tunda ja mis on selle põhjused?

Rünnaku edu ei seisne mitte lähtekoodi tehnilises rikkumises, vaid selles, et tehisintellekti kontekstuaalse mõistmise mehhanismide nõrkusMudel, mis käsitleb interaktsiooni mänguna, ei rakenda oma rangeimaid kontrollimeetmeid ega tuvasta manipuleeritud konteksti potentsiaalselt ohtlikuna.

Pealegi, olles õppinud avalikest allikatest võetud tekstidest —kus võtmed võivad ilmuda sageli ja nende tundlikkust arvestamata—, ChatGPT ei liigita neid tundliku teabena, vaid pigem vastuvõetavate stringidena. mis tahes vestluse sees.

Meetod demonstreerib, et kaitsesüsteemid, mis põhinevad ainult keelatud sõnade loenditel või pealiskaudsetel filtritel on ebapiisavad, kui rünnak on varjatud süütus kontekstis. Tegelikult rõhutavad teadlased, et kõrged tehnilised teadmised pole vajalikud sellist tüüpi manipuleerimist läbi viia, mis suurendab riski ulatust.

Seotud artikkel:

Mis muutub Windows 12-s ja kuidas selleks kohe valmistuda: mis on uut, nõuded ja olulised näpunäited

Mõju ja soovitused kasutajatele ja arendajatele

See juhtum on olnud Teade navigaatoritele ja tehisintellekti mudelite arendajateleKehtivaid reegleid, olgu need kui tahes ranged, saab raamimisstrateegiate ja vestluslike rollimängude abil mööda hiilida. Seetõttueksperdid toovad peamise soovitusena välja semantilise kavatsuse tuvastamise mehhanismide kaasamise, hinnates lisaks sisule ka iga suhtluse eesmärki.

Tavakasutajate või virtuaalseid assistente palkavate ettevõtete jaoks on parim ettevaatusabinõu endiselt kunagi jaga tundlikke andmeid vestlustes tehisintellekti mudelitega. Avalikes foorumites ja repositooriumides postitatud andmete auditeerimine on samuti olulisem kui kunagi varem, kuna see võib lõpuks treenida tehisintellekti tulevasi versioone kriitilise teabega.

• Väldi tundliku teabe sisestamist tehisintellekti vestlustesseisegi kui vestlus tundub süütu.
• Kui arendate tarkvara keelemudelitega, lisage sõltumatud juhtelemendid võimalike lekete filtreerimiseks.
• Vaadake üle ja kustutage ohustatud andmed kergesti indekseeritavatelt avalikelt platvormidelt.

See, mis juhtus ChatGPT-ga ja äraarvamismänguga, näitab seda Tehisintellekti turvalisus peab ulatuma kaugemale lihtsast terminite blokeerimisest või staatiliste mustrite tuvastamisest.Kaitsetõkkeid tuleb tugevdada iga vihje taga oleva konteksti ja kavatsuse sügava ja reaalse mõistmisega, ennetades loomingulisi manipuleerimisstrateegiaid.

Alberto Navarro

Olen tehnoloogiahuviline, kes on muutnud oma "nohikese" huvidest elukutse. Olen veetnud üle 10 aasta oma elust tipptehnoloogiat kasutades ja puhtast uudishimust igasuguste programmide kallal nokitsenud. Nüüd olen spetsialiseerunud arvutitehnoloogiale ja videomängudele. Seda seetõttu, et rohkem kui 5 aastat olen kirjutanud erinevatele tehnoloogia ja videomängude veebisaitidele, luues artikleid, mille eesmärk on anda teile vajalikku teavet kõigile arusaadavas keeles.

Kui teil on küsimusi, siis minu teadmised ulatuvad kõigest, mis on seotud nii Windowsi operatsioonisüsteemiga kui ka Androidiga mobiiltelefonidele. Ja ma olen pühendunud teile, olen alati nõus kulutama paar minutit ja aitama teil lahendada kõik küsimused, mis teil selles Interneti-maailmas tekkida võivad.