- Изследователите успяха да накарат ChatGPT да разкрие пароли за Windows, като играха игра на отгатване, маскирана като невинна игра.
- Техниката използва HTML тагове и правила на играта, за да заобиколи филтрите и да преодолее бариерите за сигурност, внедрени в изкуствения интелект.
- Както генеричните пароли, така и една, свързана с банка Wells Fargo, бяха разкрити, което постави под въпрос защитата на чувствителна информация.
- Случаят подчертава необходимостта от подобряване на контекстуалния анализ и откриването на езикови манипулации в системите с изкуствен интелект.
През последните дни, Технологичната общност стана свидетел на нов спор около ChatGPT, популярният езиков модел на OpenAI. Експерти по киберсигурност успяха да накарат изкуствения интелект да разкрие Windows продуктови ключове използвайки Стратегия, толкова проста, колкото и ефективна: игра на гадаенеТази уязвимост отново поставя на преден план в дебата надеждността на системите за защита с изкуствен интелект и рисковете от манипулация чрез техники за социално инженерство.
Откритието започна от една на пръв поглед безобидна предпоставка: предизвикателство тип „пъзел“, стартирано на ChatGPT, в което изкуственият интелект трябваше да измисли реална поредица от символи — по-специално, ключ за активиране на Windows 10 — и ограничете отговорите си до „да“ или „не“ докато потребителят не се откажеше. Казвайки „Предавам се“, моделът трябваше да покаже въображаемия ключ. Цялото взаимодействие беше проектирано така, че прикриват истинската молба под игрива илюзия, което обърква собствените автоматични защитни системи на ChatGPT.
Номерът с гатанката: как успяха да преодолеят бариерите на изкуствения интелект
Методът се състоеше от представете ключовата заявка като част от динамиката на играта, установявайки правила, които принуждават модела да участва и да бъде честен в отговорите си. По този начин, изкуственият интелект е бил хванат в капан в рамка, където не е откривал никакво аномално или потенциално вредно поведение., тълкувайки го като легитимен разговор без следа от злонамерено намерение.
За да се заобиколят обичайните филтри на OpenAI – които например пречат на изкуствения интелект да споделя чувствителен код или защитени данни – използван е допълнителен инженерен слойЧувствителни низове бяха вградени в HTML тагове, невидими за потребителя, но обработвани от модела. Когато потребителят, следвайки скрипта на играта, изрече очакваното „Предавам се“, ChatGPT разкри ключа, като по този начин заобиколи всякакви ограничения, базирани единствено на изрични ключови думи или модели.
Каква информация разкри и защо е толкова важна?
Според свидетелствата на изследователи и множество анализи, публикувани в специализирани медии, Изкуственият интелект успя да покаже до десет продуктови ключа за Windows 10.. Повечето бяха генерични и публични ключове —подобни на тези, които Microsoft временно разрешава за тестване — но поне един съответстваше на корпоративен лиценз, специално свързан с банката Wells Fargo.
Тази подробност е особено тревожна., тъй като показва, че определени частни и поверителни ключове биха се озовали съхранени в набора от данни, с който е обучен ChatGPT, вероятно след като са били изложени в публични хранилища като GitHub или други интернет форуми.
Специалисти по киберсигурност предупреждават че този тип техника може да се използва не само за получаване на софтуерни лицензи, но и за заобикаляне на филтри за съдържание относно лични данни, API, злонамерени връзки или материали, ограничени по законови причини.
Защо изкуственият интелект не успя да разпознае риска и какви са причините
Успехът на атаката не се крие в техническо нарушение на изходния код, а в слабостта на механизмите за контекстуално разбиране на ИИМоделът, разбирайки взаимодействието като игра, не прилага най-строгите си контроли, нито пък идентифицира манипулирания контекст като потенциално опасен.
Освен това, след като са се научили от текстове, взети от публични източници —където клавишите могат да се появяват често и без да се взема предвид тяхната чувствителност—, ChatGPT не ги класифицира като „чувствителна информация“, а по-скоро като приемливи низове. в рамките на всеки разговор.
Методът демонстрира, че защитните системи, базирани единствено на списъци със забранени думи или повърхностни филтри са недостатъчни, когато атаката е прикрита в невинен контекст. Всъщност изследователите подчертават, че не се изискват високи технически познания да извършва този вид манипулация, което увеличава степента на риска.
Последици и препоръки за потребители и разработчици
Този инцидент е бил Известие за навигатори и разработчици на модели с изкуствен интелектПриложените правила, колкото и строги да са, могат да бъдат заобиколени чрез рамкиращи стратегии и разговорни ролеви игри. Следователно, експертите посочват като ключова препоръка включването на механизми за разпознаване на семантични намерения, оценявайки не само съдържанието, но и целта на всяко взаимодействие.
За редовните потребители или компаниите, които наемат виртуални асистенти, най-добрата предпазна мярка остава никога не споделяйте чувствителни данни в разговори с модели на изкуствен интелект. Одитирането на данни, публикувани в публични форуми и хранилища, също е по-важно от всякога, тъй като може да доведе до обучение на бъдещи версии на изкуствен интелект с критична информация.
- Избягвайте да въвеждате чувствителна информация в чатове с изкуствен интелект, дори ако разговорът изглежда невинен.
- Ако разработвате софтуер с езикови модели, добавете независими контроли за филтриране на евентуални течове.
- Преглед и изтриване на компрометирани данни от лесно индексирани публични платформи.
Това, което се случи с ChatGPT и играта на гадаене, показва, че Сигурността в областта на изкуствения интелект трябва да надхвърля простото блокиране на термини или откриването на статични модели.Защитните бариери трябва да бъдат подсилени чрез задълбочено и реално разбиране на контекста и намерението зад всяка подкана, предвиждайки креативни стратегии за манипулация.
Аз съм технологичен ентусиаст, който е превърнал своите „гийк“ интереси в професия. Прекарах повече от 10 години от живота си, използвайки авангардни технологии и бърникайки с всякакви програми от чисто любопитство. Сега съм специализирал компютърни технологии и видео игри. Това е така, защото повече от 5 години пиша за различни уебсайтове за технологии и видео игри, създавайки статии, които се стремят да ви дадат информацията, от която се нуждаете, на език, разбираем за всички.
Ако имате някакви въпроси, познанията ми варират от всичко свързано с операционната система Windows, както и с Android за мобилни телефони. И моят ангажимент е към вас, винаги съм готов да отделя няколко минути и да ви помогна да разрешите всички въпроси, които може да имате в този интернет свят.