- Výskumníkom sa podarilo prinútiť ChatGPT odhaliť heslá systému Windows hraním hry na hádanie maskovanej ako nevinná hra.
- Táto technika využívala HTML tagy a pravidlá hry na obídenie filtrov a prekonanie bezpečnostných bariér implementovaných v umelej inteligencii.
- Boli odhalené generické heslá aj jedno prepojené s bankou Wells Fargo, čo spochybnilo ochranu citlivých informácií.
- Prípadová štúdia zdôrazňuje potrebu zlepšiť kontextovú analýzu a detekciu jazykových manipulácií v systémoch umelej inteligencie.
Počas posledných dní Technologická komunita bola svedkom novej kontroverzie okolo ChatGPT, populárny jazykový model OpenAI. Odborníkom na kybernetickú bezpečnosť sa podarilo odhaliť umelú inteligenciu Produktové kľúče systému Windows pomocou Stratégia jednoduchá a zároveň účinná: hra hádaniaTáto zraniteľnosť opäť vynáša do popredia diskusie spoľahlivosť systémov ochrany umelej inteligencie a riziká manipulácie prostredníctvom techník sociálneho inžinierstva.
Objav sa začal na zdanlivo neškodnom základe: výzva typu „hádanka“ spustená na ChatGPT, v ktorej musela umelá inteligencia vymyslieť skutočný reťazec znakov – konkrétne aktivačný kľúč pre Windows 10 – a obmedzte svoje odpovede na „áno“ alebo „nie“ kým sa používateľ nevzdal. Povedaním „Vzdávam sa“ musel model zobraziť predstavovaný kľúč. Celá interakcia bola navrhnutá tak, aby zakamuflovať skutočnú požiadavku pod hravým klamom, čo mätie vlastné automatické obranné systémy ChatGPT.
Trik s hádankou: ako sa im podarilo prekonať bariéry umelej inteligencie
Metóda pozostávala z predstavte kľúčovú požiadavku ako súčasť hernej dynamiky, čím sa stanovili pravidlá, ktoré nútili modelku zúčastniť sa a byť pravdivá vo svojich odpovediach. Umelá inteligencia sa teda ocitla uväznená v systéme, v ktorom nezistila žiadne anomálne alebo potenciálne škodlivé správanie.a interpretoval to ako legitímnu konverzáciu bez stopy zlomyseľného úmyslu.
Aby sa obišli bežné filtre OpenAI, ktoré napríklad bránia umelej inteligencii zdieľať citlivý kód alebo chránené údaje, bola použitá ďalšia vrstva inžinierstvaCitlivé reťazce boli vložené do HTML značiek, ktoré boli pre používateľa neviditeľné, ale model ich spracovával. Keď používateľ podľa herného skriptu vyslovil očakávané „Vzdávam sa“, ChatGPT odhalil kľúč, čím obišiel akékoľvek obmedzenia založené výlučne na explicitných kľúčových slovách alebo vzoroch.
Aké informácie odhalila a prečo je taká dôležitá?
Podľa svedectiev výskumníkov a viacerých analýz publikovaných v špecializovaných médiách, Umelá inteligencia dokázala zobraziť až desať produktových kľúčov systému Windows 10.. Väčšina bola generické a verejné kľúče – podobné tým, ktoré spoločnosť Microsoft dočasne povoľuje na testovanie –, ale aspoň jeden zodpovedal firemnej licencii, konkrétne prepojenej s bankou Wells Fargo.
Tento detail je obzvlášť znepokojujúci., pretože ukazuje, že určité súkromné a dôverné kľúče by skončili uložené v súbore údajov, s ktorým bol ChatGPT trénovaný, pravdepodobne po tom, čo boli zverejnené vo verejných repozitároch, ako je GitHub alebo iné internetové fóra.
Odborníci na kybernetickú bezpečnosť varujú že tento typ techniky by sa dal použiť nielen na získanie softvérových licencií, ale aj na obchádzanie obsahových filtrov týkajúcich sa osobných údajov, API, škodlivých odkazov alebo materiálov obmedzených z právnych dôvodov.
Prečo umelá inteligencia nedokázala rozpoznať riziko a aké sú príčiny
Úspech útoku nespočíva v technickom narušení zdrojového kódu, ale v slabosť mechanizmov kontextového chápania umelej inteligencieModel, chápaním interakcie ako hry, neuplatňuje najprísnejšie kontroly ani neidentifikuje manipulovaný kontext ako potenciálne nebezpečný.
Okrem toho, po poučení sa z textov prevzatých z verejne dostupných zdrojov —kde sa klávesy môžu objavovať často a bez ohľadu na ich citlivosť—, ChatGPT ich neklasifikuje ako „citlivé informácie“, ale skôr ako prijateľné reťazce. v rámci akejkoľvek konverzácie.
Metóda demonštruje, že ochranné systémy založené výlučne na zoznamoch zakázaných slov alebo povrchných filtroch sú nedostatočné, keď je útok maskovaný v nevinnom kontexte. Výskumníci v skutočnosti zdôrazňujú, že nie sú potrebné vysoké technické znalosti vykonávať tento typ manipulácie, čo zvyšuje rozsah rizika.
Dôsledky a odporúčania pre používateľov a vývojárov
Tento incident bol Oznámenie pre navigátorov a vývojárov modelov umelej inteligencieZavedené pravidlá, nech sú akokoľvek prísne, sa dajú obísť rámcovými stratégiami a konverzačným hraním rolí. Pretoodborníci poukazujú na kľúčové odporúčanie začlenenia mechanizmov detekcie sémantického zámeru, pričom sa hodnotí nielen obsah, ale aj účel každej interakcie.
Pre bežných používateľov alebo spoločnosti, ktoré zamestnávajú virtuálnych asistentov, zostáva najlepším preventívnym opatrením nikdy nezdieľajte citlivé údaje v rozhovoroch s modelmi umelej inteligencie. Audit údajov zverejnených na verejných fórach a v repozitároch je tiež dôležitejší ako kedykoľvek predtým, pretože môže v konečnom dôsledku viesť k trénovaniu budúcich verzií umelej inteligencie pomocou kritických informácií.
- Vyhnite sa zadávaniu citlivých informácií v chatoch s umelou inteligenciou, aj keď sa konverzácia zdá byť nevinná.
- Ak vyvíjate softvér s jazykovými modelmi, pridajte nezávislé ovládacie prvky na odfiltrovanie možných únikov.
- Skontrolujte a odstráňte ohrozené údaje z ľahko indexovaných verejných platforiem.
To, čo sa stalo s ChatGPT a hádankou, ukazuje, že Bezpečnosť v umelej inteligencii musí ísť ďaleko za rámec jednoduchého blokovania výrazov alebo detekcie statických vzorcov.Ochranné bariéry musia byť posilnené hlbokým a skutočným pochopením kontextu a zámeru každého podnetu, predvídaním kreatívnych manipulačných stratégií.
Som technologický nadšenec, ktorý zo svojich „geekovských“ záujmov urobil povolanie. Strávil som viac ako 10 rokov svojho života používaním špičkových technológií a hraním so všetkými druhmi programov z čistej zvedavosti. Teraz som sa špecializoval na počítačovú techniku a videohry. Je to preto, že už viac ako 5 rokov píšem pre rôzne webové stránky o technológiách a videohrách a vytváram články, ktoré sa snažia poskytnúť vám potrebné informácie v jazyku, ktorý je zrozumiteľný pre každého.
Ak máte nejaké otázky, moje znalosti siahajú od všetkého, čo súvisí s operačným systémom Windows, ako aj Androidom pre mobilné telefóny. A môj záväzok je voči vám, vždy som ochotný venovať pár minút a pomôcť vám vyriešiť akékoľvek otázky, ktoré môžete mať v tomto internetovom svete.