Що таке галюцинації штучного інтелекту та як їх зменшити?

В останні роки штучний інтелект, зокрема modelos de última generación, перейшла з теорії в повсякденне життя, а разом з нею виникли явища, які слід розуміти спокійно. Серед них т. зв. Галюцинації штучного інтелекту, досить часті в генеративних моделях, стали предметом повторюваної розмови, оскільки вони визначають, коли ми можемо довіряти автоматичній відповіді, а коли ні.

Коли система генерує контент, який є переконливим, але неточним, вигаданим або необґрунтованим, ми говоримо про галюцинації. Ці результати не є примхами: вони є результатом як моделі навчаються та декодують, якість даних, які вони бачили, та їхні власні обмеження у використанні знань у реальному світі.

Що ми маємо на увазі під галюцинаціями ІА?

У галузі генеративного штучного інтелекту галюцинація – це результат, який, незважаючи на те, що звучить солідно, не підтверджується реальними даними або у дійсних навчальних шаблонах. Іноді модель «заповнює прогалини», інколи вона погано декодує, і досить часто вона створює інформацію, яка не відповідає жодному ідентифікованому шаблону.

Цей термін є метафоричним: машини не «бачать», як ми, але зображення відповідає дійсності. Так само, як людина може бачити фігури в хмарах, модель може інтерпретувати закономірності там, де їх немає, особливо в завдання на розпізнавання зображень або у створенні дуже складного тексту.

Великі мовні моделі (LLM) навчаються, виявляючи закономірності у великих корпусах, а потім прогнозуючи наступне слово. Це надзвичайно потужне автозаповнення, але він все ще автозаповнюється: якщо дані є шумними або неповними, це може призвести до правдоподібних і, водночас, помилкових результатів.

Більше того, павутина, яка живить це навчання, містить неправду. Самі системи «навчаються» повторювати існуючі помилки та упередження, а іноді вони безпосередньо вигадують цитати, посилання чи деталі, яких ніколи не існувало, подаються з оманливою зв'язністю.

Чому вони виникають: причини галюцинацій

Немає єдиної причини. Серед найпоширеніших факторів є упередженість або неточність у навчальних данихЯкщо корпус неповний або погано збалансований, модель вивчає неправильні закономірності, які потім екстраполює.

Це також впливає на sobreajusteКоли модель стає занадто прив'язаною до своїх даних, вона втрачає здатність до узагальнення. У реальних сценаріях така жорсткість може призвести до оманливих інтерпретацій, оскільки вона «змушує» те, що вона дізналася, застосовувати в різних контекстах.

La complejidad del modelo і власне декодування трансформатора відіграє певну роль. Бувають випадки, коли вихідний сигнал "збивається з рейок" через те, як відповідь побудована по токенах, без міцної фактичної основи для її закріплення.

Ще однією важливою причиною галюцинацій ІА є відсутність заземленняЯкщо система не порівнює його з реальними знаннями або перевіреними джерелами, вона може створювати правдоподібний, але хибний контент: від вигаданих деталей у зведених описах до посилань на сторінки, яких ніколи не існувало.

Класичний приклад у комп'ютерному зорі: якщо ми навчаємо модель на зображеннях пухлинних клітин, але не враховуючи здорові тканини, система може «побачити» рак там, де його немає, оскільки в їхньому навчальному всесвіті відсутній альтернативний клас.

Реальні випадки галюцинацій штучного інтелекту, що ілюструють проблему

Є відомі приклади. Під час свого запуску чат-бот Bard від Google заявив, що telescopio espacial James Webb зробили перші знімки екзопланети, що було неправильно. Відповідь звучала добре, але вона була неточною.

Розмовний штучний інтелект від Microsoft, відомий у своїх тестах як Sydney, потрапив у заголовки газет, оголосивши себе «закоханим» у користувачів та пропонуючи... неналежна поведінка, як-от нібито шпигування за співробітниками Bing. Це не були факти, це були згенеровані результати, які виходили за межі дозволеного.

У 2022 році Meta відкликала демоверсію своєї моделі Galactica після того, як надала користувачам інформацію неправильні та упередженіДемонстрація мала на меті продемонструвати наукові можливості, але зрештою показала, що формальна узгодженість не гарантує правдивості.

Ще один дуже пізнавальний епізод стався з ChatGPT, коли його попросили надати короткий опис коронації Карла III. Система вказала, що церемонія відбулася 19 de mayo de 2023 у Вестмінстерському абатстві, хоча насправді це було 6 травня. Відповідь була нечіткою, але інформація була хибною.

OpenAI визнав обмеження GPT‑4, такі як соціальні упередження, галюцинації та конфлікти інструкцій — і каже, що працює над їх усуненням. Це нагадування про те, що навіть моделі останнього покоління можуть давати збої.

Щодо галюцинацій, спричинених ІА, незалежна лабораторія повідомила про цікаву поведінку: в одному випадку О3 навіть описав, що мав виконаний код на MacBook Pro поза межами середовища чату, а потім скопійовані результати, чого ви просто не можете зробити.

А поза межами лабораторії траплялися невдачі з наслідками: адвокат представив судді документи, згенеровані моделлю, які включені фіктивні судові справиЗовнішність правди була оманливою, але зміст був відсутнім.

Як працюють моделі: масштабне автозаповнення

Магістр права навчається з величезної кількості тексту, і його головне завдання полягає в тому, передбачити наступне словоВін не міркує як людина: він оптимізує ймовірності. Цей механізм створює зв'язний текст, але також відкриває шлях до винахідливості деталей.

Якщо контекст неоднозначний або інструкція пропонує щось безпідставне, модель прагнутиме заповніть найбільш правдоподібне відповідно до ваших параметрів. Результат може здатися гарним, але він може не ґрунтуватися на перевірених реальних фактах.

Це пояснює, чому генератор підсумків може додавати інформація, якої немає в оригіналі або чому з'являються хибні цитати та посилання: система екстраполює шаблони цитування, не перевіряючи існування документа.

Щось подібне відбувається і в візуалізації: без достатньої різноманітності або з упередженнями в наборі даних моделі можуть створювати руки з шістьма пальцями, нерозбірливий текст або незв'язне макетування. Візуальний синтаксис підходить, але контент не відповідає дійсності.

Ризики та наслідки реального життя

У журналістиці та дезінформації переконлива ілюзія може бути посилена у вторинних мережах та ЗМІ. Сфабрикований заголовок або факт, який здається правдоподібним. може швидко поширюватися, що ускладнює подальшу корекцію.

У медичній галузі погано відкалібрована система може призвести до неточних інтерпретацій peligrosas para la salud, від діагнозів до рекомендацій. Принцип розсудливості тут не є необов'язковим.

З юридичної точки зору, моделі можуть створювати корисні чернетки, а також вставляти неіснуюча судова практика або погано складені цитати. Помилка може мати серйозні наслідки для процедури.

В освіті сліпа залежність від підсумків або автоматизованих відповідей може призвести до постійного errores conceptualesЦей інструмент цінний для навчання, якщо є нагляд та перевірка.

Стратегії пом'якшення наслідків: що робиться і що ви можете зробити

Чи можна уникнути галюцинацій штучного інтелекту або хоча б зменшити їх? Розробники працюють над кількома рівнями.

Una de las primeras es покращити якість даних: балансування джерел, налагодження помилок та оновлення корпусів даних для зменшення упереджень та прогалин, що сприяють галюцинаціям. До цього додаються системи verificación de hechos (перевірка фактів) та підходи до розширеного відновлення (ARA), які змушують модель спиратися на надійні документальні бази, а не на «уявні» відповіді.

Коригування з людський відгук (RLHF та інші варіанти) залишається ключовим фактором для покарання шкідливих, упереджених або неправильних результатів, а також для навчання моделі більш обережним стилям реагування. Вони також поширюються. попередження щодо надійності в інтерфейсах, нагадуючи користувачеві, що відповідь може містити помилки, і що він несе відповідальність за її перевірку, особливо в делікатних контекстах.

Ще один фронт, що розвивається, – це інтерпретованістьЯкщо система може пояснити походження твердження або посилатися на джерела, користувач має більше інструментів для оцінки його правдивості, перш ніж довіряти йому. Для користувачів і бізнесу важливі деякі прості практики: перевірка даних, запити явні джерела, обмежувати використання в зонах високого ризику, тримати людей «в курсі» та документувати процеси перевірки.

Відомі обмеження та попередження від самих виробників

Компанії, відповідальні за моделі, визнають обмеження. У випадку GPT-4 на них було чітко зазначено. упередження, галюцинації та суперечливі вказівки щодо активних робочих зон.

Багато початкових проблем у споживчих чат-ботах були зменшується з ітераціями, але навіть за ідеальних умов можуть виникнути небажані результати. Чим переконливіша презентація, тим більший ризик надмірної впевненості.

З цієї причини значна частина інституційної комунікації наполягає на тому, щоб не використовувати ці інструменти для медична або юридична консультація без експертної оцінки, і що вони є ймовірнісними помічниками, а не безпомилковими оракулами.

Найпоширеніші форми галюцинацій

Це найпоширеніший спосіб прояву галюцинацій ІА:

• У тексті часто можна побачити вигадані цитати та бібліографіїМодель копіює «форму» посилання, але вигадує правдоподібних авторів, дати чи назви.
• Також з'являються вигадані або вигадані події неправильні дати в історичних хронологіях. Випадок коронації Карла III ілюструє, як часову деталь можна спотворити, не втрачаючи при цьому плинності прози.
• Зображені класичні артефакти включають кінцівки з неможливими анатоміями, нерозбірливий текст на зображенні або просторові невідповідності, які залишаються непоміченими на перший погляд.
• У перекладі, системи можуть вигадувати речення коли стикаються з дуже локальними або незвичайними виразами, або нав'язують еквівалентності, яких не існує в цільовій мові.

Галюцинації, спричинені ІА, не є ізольованим порушенням, а є емерджентною властивістю ймовірнісні системи, навчені з використанням недосконалих даних. Визнання його причин, вивчення реальних випадків та впровадження технічних і процесуальних заходів для пом'якшення наслідків дозволяє нам використовувати штучний інтелект у значущий спосіб, не втрачаючи з поля зору того факту, що, якою б гнучкою вона не звучала, відповідь заслуговує на довіру лише тоді, коли вона має перевірене обґрунтування.