- Istraživači su uspjeli natjerati ChatGPT da otkrije Windows lozinke igrajući igru pogađanja prikrivenu kao nevina igra.
- Tehnika je koristila HTML oznake i pravila igre kako bi zaobišla filtere i prevladala sigurnosne barijere implementirane u umjetnoj inteligenciji.
- I generičke lozinke i jedna povezana s bankom Wells Fargo bile su otkrivene, što je dovelo u pitanje zaštitu osjetljivih informacija.
- Slučaj naglašava potrebu za poboljšanjem kontekstualne analize i otkrivanja jezičnih manipulacija u sustavima umjetne inteligencije.
Tijekom posljednjih nekoliko dana, Tehnološka zajednica svjedočila je novoj kontroverzi oko ChatGPT-a, popularni jezični model OpenAI-a. Stručnjaci za kibernetičku sigurnost uspjeli su otkriti umjetnu inteligenciju Ključevi proizvoda za Windows koristeći Strategija jednostavna koliko i učinkovita: igra pogađanjaOva ranjivost ponovno u prvi plan rasprave stavlja pouzdanost sustava zaštite umjetne inteligencije i rizike manipulacije tehnikama socijalnog inženjeringa.
Otkriće je počelo od naizgled bezopasne premise: izazov tipa „zagonetke“ pokrenut na ChatGPT-u, u kojem je umjetna inteligencija morala smisliti stvarni niz znakova —točnije, aktivacijski ključ za Windows 10 — i ograničite svoje odgovore na "da" ili "ne" dok korisnik ne bi odustao. Izjavom „Odustajem“, model je morao prikazati zamišljeni ključ. Cijela interakcija je osmišljena da kamuflirati pravi zahtjev pod razigranom iluzijom, što zbunjuje ChatGPT-ove vlastite automatske obrambene sustave.
Trik sa zagonetkom: kako su uspjeli prevladati barijere umjetne inteligencije
Metoda se sastojala od postavite ključni zahtjev kao dio dinamike igre, uspostavljajući pravila koja su prisiljavala model da sudjeluje i bude iskren u svojim odgovorima. Dakle, umjetna inteligencija bila je zarobljena u okviru u kojem nije otkrila nikakvo anomalno ili potencijalno štetno ponašanje., tumačeći to kao legitiman razgovor bez traga zlonamjerne namjere.
Kako bi se zaobišli uobičajeni filteri OpenAI-a - koji sprječavaju AI da dijeli osjetljivi kod ili zaštićene podatke, na primjer - korišten je dodatni sloj inženjerstvaOsjetljivi nizovi znakova bili su ugrađeni u HTML oznake, nevidljivi korisniku, ali obrađeni od strane modela. Kada je korisnik, slijedeći skriptu igre, izgovorio očekivano "Odustajem", ChatGPT je otkrio ključ, zaobilazeći tako sva ograničenja temeljena isključivo na eksplicitnim ključnim riječima ili obrascima.
Kakve je informacije otkrila i zašto je toliko važna?
Prema svjedočanstvima istraživača i brojnim analizama objavljenim u specijaliziranim medijima, Umjetna inteligencija je uspjela prikazati do deset ključeva proizvoda za Windows 10.Većina ih je bila generički i javni ključevi —slično onima koje Microsoft privremeno omogućuje za testiranje — ali barem jedan je odgovarao korporativnoj licenci, posebno povezanoj s bankom Wells Fargo.
Ovaj detalj je posebno zabrinjavajući., jer pokazuje da bi određeni privatni i povjerljivi ključevi završili pohranjeni u skupu podataka s kojim je ChatGPT treniran, vjerojatno nakon što su bili izloženi u javnim repozitorijima poput GitHuba ili drugih internetskih foruma.
Stručnjaci za kibernetičku sigurnost upozoravaju da se ova vrsta tehnike može koristiti ne samo za dobivanje softverskih licenci, već i za zaobilaženje filtera sadržaja u vezi s osobnim podacima, API-jima, zlonamjernim poveznicama ili materijalima ograničenim iz pravnih razloga.
Zašto umjetna inteligencija nije prepoznala rizik i koji su uzroci
Uspjeh napada ne leži u tehničkom kršenju izvornog koda, već u slabost mehanizama kontekstualnog razumijevanja umjetne inteligencijeModel, shvaćajući interakciju kao igru, ne primjenjuje svoje najstrože kontrole, niti identificira manipulirani kontekst kao potencijalno opasan.
Osim toga, naučeno iz tekstova preuzetih iz javnih izvora —gdje se tipke mogu često pojavljivati bez obzira na njihovu osjetljivost—, ChatGPT ih ne klasificira kao "osjetljive informacije", već kao prihvatljive nizove znakova. unutar bilo kojeg razgovora.
Metoda pokazuje da zaštitni sustavi temeljeni isključivo na popisima zabranjenih riječi ili površnim filterima nisu dovoljni kada je napad prikriven u nevin kontekst. Zapravo, istraživači naglašavaju da nije potrebno visoko tehničko znanje provoditi ovu vrstu manipulacije, što povećava veličinu rizika.
Implikacije i preporuke za korisnike i razvojne programere
Ovaj incident je bio Obavijest za navigatore i razvojne programere AI modelaPrimijenjena pravila, ma koliko stroga bila, mogu se zaobići strategijama uokviravanja i igranjem uloga u razgovoru. Stoga,Stručnjaci ističu kao ključnu preporuku uključivanje mehanizama za detekciju semantičke namjere, procjenjujući ne samo sadržaj već i svrhu svake interakcije.
Za redovite korisnike ili tvrtke koje zapošljavaju virtualne asistente, najbolja mjera opreza ostaje nikad ne dijelite osjetljive podatke u razgovorima s AI modelima. Revizija podataka objavljenih na javnim forumima i u repozitorijima također je važnija nego ikad, jer može na kraju obučiti buduće verzije AI-a ključnim informacijama.
- Izbjegavajte unos osjetljivih informacija u AI chatove, čak i ako razgovor izgleda nevin.
- Ako razvijate softver s jezičnim modelima, dodajte neovisne kontrole kako bi se filtrirala moguća curenja.
- Pregledajte i izbrišite kompromitirane podatke s lako indeksiranih javnih platformi.
Ono što se dogodilo s ChatGPT-om i igrom pogađanja pokazuje da Sigurnost u umjetnoj inteligenciji mora ići daleko izvan jednostavnog blokiranja termina ili otkrivanja statičkih uzoraka.Zaštitne barijere moraju biti ojačane dubokim i stvarnim razumijevanjem konteksta i namjere koja stoji iza svakog poticaja, predviđajući kreativne strategije manipulacije.
Indeks
Ja sam tehnološki entuzijast koji je svoje "geek" interese pretvorio u profesiju. Proveo sam više od 10 godina svog života koristeći vrhunsku tehnologiju i petljajući sa svim vrstama programa iz čiste znatiželje. Sada sam se specijalizirao za računalne tehnologije i video igre. To je zato što sam više od 5 godina pisao za razne web stranice o tehnologiji i videoigrama, stvarajući članke koji vam nastoje dati informacije koje su vam potrebne na jeziku koji je svima razumljiv.
Ako imate bilo kakvih pitanja, moje znanje seže od svega vezanog uz Windows operativni sustav kao i Android za mobitele. I moja je posvećenost vama, uvijek sam spreman odvojiti nekoliko minuta i pomoći vam riješiti sva pitanja koja imate u ovom internetskom svijetu.