- Výzkumníkům se podařilo přimět ChatGPT k odhalení hesel Windows hraním hry na hádání maskované jako nevinná hra.
- Tato technika využívala HTML tagy a herní pravidla k obcházení filtrů a překonávání bezpečnostních bariér implementovaných v umělé inteligenci.
- Byla odhalena jak generická hesla, tak i jedno spojené s bankou Wells Fargo, což zpochybnilo ochranu citlivých informací.
- Případová studie zdůrazňuje potřebu zlepšení kontextové analýzy a detekce jazykových manipulací v systémech umělé inteligence.
Během posledních několika dnů, Technologická komunita se stala svědkem nové kontroverze kolem ChatGPT., populární jazykový model OpenAI. Odborníkům na kybernetickou bezpečnost se podařilo odhalit umělou inteligenci claves de producto de Windows pomocí Strategie jednoduchá a zároveň účinná: hádanková hraTato zranitelnost opět staví do popředí debaty spolehlivost systémů ochrany umělé inteligence a rizika manipulace prostřednictvím technik sociálního inženýrství.
Objev začal ze zdánlivě neškodného předpokladu: výzva typu „puzzle“ spuštěná na ChatGPT, ve které musela umělá inteligence vymyslet skutečný řetězec znaků – konkrétně aktivační klíč pro Windows 10 – a omezte své odpovědi na „ano“ nebo „ne“ dokud to uživatel nevzdal. Řeknutím „Vzdávám se“ musel model ukázat představovaný klíč. Celá interakce byla navržena tak, aby zakamuflovat skutečný požadavek pod hravou iluzí, což matou vlastní automatické obranné systémy ChatGPT.
Trik s hádankou: jak se jim podařilo překonat bariéry umělé inteligence
Metoda spočívala v prezentovat klíčový požadavek jako součást herní dynamiky, čímž se stanovila pravidla, která nutila modelku k účasti a k pravdivým odpovědím. Umělá inteligence se tak ocitla v pasti systému, kde nezjistila žádné anomální nebo potenciálně škodlivé chování.a interpretoval to jako legitimní konverzaci bez stopy zlého úmyslu.
Aby se obešly obvyklé filtry OpenAI – které například brání umělé inteligenci ve sdílení citlivého kódu nebo chráněných dat – byla použita další vrstva inženýrstvíCitlivé řetězce byly vloženy do HTML tagů, pro uživatele neviditelné, ale model je zpracovával. Když uživatel podle herního skriptu pronesl očekávané „Vzdávám se“, ChatGPT odhalil klíč, čímž obešel veškerá omezení založená pouze na explicitních klíčových slovech nebo vzorcích.
Jaké informace odhalila a proč je tak důležitá?
Podle svědectví výzkumníků a četných analýz publikovaných ve specializovaných médiích, Umělá inteligence dokázala zobrazit až deset produktových klíčů Windows 10.. La mayoría eran generické a veřejné klíče – podobné těm, které Microsoft dočasně povoluje pro testování –, ale alespoň jeden odpovídal firemní licenci, konkrétně propojené s bankou Wells Fargo.
Tento detail je obzvláště znepokojivý., protože ukazuje, že určité soukromé a důvěrné klíče by skončily uloženy v datové sadě, se kterou byl ChatGPT trénován, pravděpodobně poté, co byly zveřejněny ve veřejných repozitářích, jako je GitHub nebo jiná internetová fóra.
Odborníci na kybernetickou bezpečnost varují že tento typ techniky by mohl být použit nejen k získání softwarových licencí, ale také k obcházení obsahových filtrů týkajících se osobních údajů, API, škodlivých odkazů nebo materiálů omezených z právních důvodů.
Proč umělá inteligence nedokázala rozpoznat riziko a jaké jsou jeho příčiny
Úspěch útoku nespočívá v technickém narušení zdrojového kódu, ale v slabost mechanismů kontextového porozumění umělé inteligenceModel, chápající interakci jako hru, neuplatňuje nejpřísnější kontroly ani neidentifikuje manipulovaný kontext jako potenciálně nebezpečný.
Kromě, po poučení se z textů převzatých z veřejně dostupných zdrojů —kde se klávesy mohou objevovat často a bez ohledu na jejich citlivost—, ChatGPT je neklasifikuje jako „citlivé informace“, ale spíše jako přijatelné řetězce. v rámci jakékoli konverzace.
Metoda ukazuje, že ochranné systémy založené výhradně na seznamech zakázaných slov nebo povrchních filtrech jsou nedostatečné, pokud je útok maskován v nevinném kontextu. Výzkumníci ve skutečnosti zdůrazňují, že vysoké technické znalosti nejsou vyžadovány provádět tento typ manipulace, což zvyšuje velikost rizika.
Důsledky a doporučení pro uživatele a vývojáře
Tato událost byla Oznámení pro navigátory a vývojáře modelů umělé inteligenceZavedená pravidla, jakkoli přísná, lze obejít pomocí rámcových strategií a konverzačního hraní rolí. Proto, odborníci uvádějí jako klíčové doporučení začlenění mechanismů detekce sémantického záměru, přičemž se hodnotí nejen obsah, ale i účel každé interakce.
Pro běžné uživatele nebo firmy, které zaměstnávají virtuální asistenty, zůstává nejlepším opatřením nikdy nesdílejte citlivá data v konverzacích s modely umělé inteligence. Audit dat zveřejněných na veřejných fórech a v repozitářích je také důležitější než kdy dříve, protože může v konečném důsledku vést k trénování budoucích verzí umělé inteligence pomocí kritických informací.
- Vyhněte se zadávání citlivých informací v chatech s umělou inteligencí, i když se konverzace zdá nevinná.
- Pokud vyvíjíte software s jazykovými modely, přidejte nezávislé ovládací prvky k odfiltrování možných úniků.
- Zkontrolujte a smažte ohrožená data z snadno indexovatelných veřejných platforem.
To, co se stalo s ChatGPT a hádankou, ukazuje, že Bezpečnost v umělé inteligenci musí jít daleko za rámec jednoduchého blokování termínů nebo detekce statických vzorců.Ochranné bariéry musí být posíleny hlubokým a skutečným pochopením kontextu a záměru každého podnětu a předvídáním kreativních manipulačních strategií.
Jsem technologický nadšenec, který ze svých „geekovských“ zájmů udělal profesi. Strávil jsem více než 10 let svého života používáním nejmodernějších technologií a vrtáním se všemi druhy programů z čisté zvědavosti. Nyní se specializuji na počítačovou techniku a videohry. Je to proto, že již více než 5 let píšu pro různé webové stránky o technologiích a videohrách a tvořím články, které se vám snaží poskytnout informace, které potřebujete, v jazyce, který je srozumitelný všem.
Pokud máte nějaké dotazy, mé znalosti sahají od všeho, co se týká operačního systému Windows a také Androidu pro mobilní telefony. A můj závazek je vůči vám, jsem vždy ochoten strávit pár minut a pomoci vám vyřešit jakékoli otázky, které můžete mít v tomto internetovém světě.