Што такое галюцынацыі штучнага інтэлекту і як іх паменшыць?

У апошнія гады штучны інтэлект, у тым ліку modelos de última generación, перайшла з тэорыі ў паўсядзённае жыццё, і разам з ёй з'явіліся з'явы, якія варта разумець спакойна. Сярод іх т.зв. Галюцынацыі штучнага інтэлекту, даволі часта сустракаемыя ў генератыўных мадэлях, сталі прадметам паўтаральнай размовы, бо яны вызначаюць, калі мы можам давяраць аўтаматычнаму адказу, а калі не.

Калі сістэма генеруе пераканаўчы, але недакладны, выдуманы або неабгрунтаваны кантэнт, мы гаворым пра галюцынацыі. Гэтыя выхады не з'яўляюцца капрызамі: яны з'яўляюцца вынікам як мадэлі вучацца і дэкадуюць, якасць дадзеных, якія яны бачылі, і іх уласныя абмежаванні ў атрыманні ведаў у рэальным свеце.

Што мы маем на ўвазе пад галюцынацыямі ІА?

У галіне генератыўнага штучнага інтэлекту галюцынацыя — гэта вынік, які, нягледзячы на ​​тое, што гучыць грунтоўна, не падмацоўваецца рэальнымі дадзенымі або ў валідных шаблонах навучання. Часам мадэль «запаўняе прабелы», іншы раз яна дрэнна дэкадуе і, даволі часта, стварае інфармацыю, якая не адпавядае ніякай ідэнтыфікаванай заканамернасці.

Гэты тэрмін метафарычны: машыны не «бачаць», як мы, але вобраз адпавядае. Гэтак жа, як чалавек можа бачыць фігуры ў аблоках, мадэль можа інтэрпрэтаваць заканамернасці там, дзе іх няма, асабліва ў задачы распазнавання малюнкаў або пры стварэнні вельмі складанага тэксту.

Вялікія моўныя мадэлі (LLM) вучыцца, выяўляючы заканамернасці ў вялікіх корпусах, а затым прадказваючы наступнае слова. Гэта надзвычай магутнае аўтазапаўненне, але ён усё яшчэ аўтазапаўняецца: калі дадзеныя зашумленыя або няпоўныя, яны могуць даваць праўдападобныя і, у той жа час, памылковыя вынікі.

Акрамя таго, павуцінне, якое сілкуе гэтае навучанне, утрымлівае хлусню. Самі сістэмы «вучацца» паўтараць існуючыя памылкі і прадузятасці, а часам яны наўпрост выдумляюць цытаты, спасылкі ці дэталі, якіх ніколі не існавала, падаючы іх з падманлівай лагічнасцю.

Чаму яны ўзнікаюць: прычыны галюцынацый

Няма адной прычыны. Сярод найбольш распаўсюджаных фактараў — прадузятасць або недакладнасць у навучальных дадзеныхКалі корпус няпоўны або дрэнна збалансаваны, мадэль вывучае няправільныя заканамернасці, якія затым экстрапалюе.

Гэта таксама ўплывае на sobreajusteКалі мадэль занадта прывязваецца да сваіх дадзеных, яна губляе здольнасць да абагульнення. У рэальных сітуацыях такая стрыманасць можа прывесці да памылковых інтэрпрэтацый, бо яна «прымушае» атрыманыя веды ўжыцца ў розных кантэкстах.

La complejidad del modelo і ўласнае дэкадаванне трансфарматара адыгрывае пэўную ролю. Бываюць выпадкі, калі вынік "збіваецца з рэек" з-за таго, як адказ пабудаваны паэтапна, без цвёрдай фактычнай асновы для яго замацавання.

Яшчэ адной важнай прычынай галюцынацый ІА з'яўляецца адсутнасць зазямленнеКалі сістэма не параўноўвае гэта з рэальнымі ведамі або праверанымі крыніцамі, яна можа ствараць праўдападобны, але ілжывы кантэнт: ад выдуманых звестак у рэзюмэ да спасылак на старонкі, якіх ніколі не існавала.

Класічны прыклад у камп'ютэрным зроку: калі мы навучым мадэль з выявамі пухлінных клетак, але не ўключым здаровыя тканіны, сістэма можа «ўбачыць» рак там, дзе яго няма, таму што ў іх навучальным сусвеце адсутнічае альтэрнатыўны клас.

Рэальныя выпадкі галюцынацый штучнага інтэлекту, якія ілюструюць праблему

Ёсць вядомыя прыклады. Падчас свайго запуску чат-бот Bard ад Google заявіў, што telescopio espacial James Webb зрабіў першыя здымкі экзапланеты, што было няправільна. Адказ гучаў добра, але быў недакладным.

Размоўная штучная інтэлектуальная сістэма Microsoft, вядомая ў сваіх тэстах як Сіднэй, трапіла ў загалоўкі газет, абвясціўшы сябе «закаханай» ў карыстальнікаў і прапанаваўшы... неадэкватныя паводзіны, напрыклад, нібыта шпіянаж за супрацоўнікамі Bing. Гэта не былі факты, гэта былі згенераваныя вынікі, якія перасякалі межы.

У 2022 годзе Meta адклікала дэма-версію сваёй мадэлі Galactica пасля таго, як прадаставіла карыстальнікам інфармацыю няправільныя і прадузятыяДэманстрацыя была прызначана для дэманстрацыі навуковых магчымасцей, але ў выніку паказала, што фармальная ўзгодненасць не гарантуе праўдзівасці.

Яшчэ адзін вельмі павучальны выпадак адбыўся з ChatGPT, калі яго папрасілі прадаставіць кароткі змест каранацыі Карла III. Сістэма паведаміла, што цырымонія адбылася 19 de mayo de 2023 у Вэстмінстэрскім абацтве, хаця насамрэч гэта было 6 мая. Адказ быў недакладным, але інфармацыя была няправільнай.

OpenAI прызнаў абмежаванні GPT‑4, такія як сацыяльныя забабоны, галюцынацыі і канфлікты інструкцый — і заяўляе, што працуе над іх вырашэннем. Гэта напамін пра тое, што нават мадэлі апошняга пакалення могуць даваць збоі.

Што тычыцца галюцынацый ІА, незалежная лабараторыя паведаміла пра дзіўныя паводзіны: у адным выпадку О3 нават апісаў, што меў выкананы код на MacBook Pro па-за межамі чата, а затым скапіявалі вынікі, чаго проста нельга зрабіць.

І па-за межамі лабараторыі адбыліся няўдачы з наступствамі: адвакат прадставіў суддзі дакументы, створаныя з дапамогай мадэлі, якія уключаны выдуманыя судовыя справыЗнешняе ўражанне праўды было падманлівым, але зместу яна не існавала.

Як працуюць мадэлі: аўтазапаўненне ў вялікіх маштабах

Магістр права вучыцца на велізарных аб'ёмах тэксту, і яго галоўная задача — прадказаць наступнае словаЁн не разважае як чалавек: ён аптымізуе верагоднасці. Гэты механізм стварае звязны тэкст, але ён таксама адкрывае дзверы для вынаходніцтва дэталяў.

Калі кантэкст неадназначны або інструкцыя прапануе нешта без падтрымкі, мадэль будзе імкнуцца запоўніце найбольш праўдападобнае у адпаведнасці з вашымі параметрамі. Вынік можа гучаць добра, але ён можа не быць заснаваны на правераных рэальных фактах.

Гэта тлумачыць, чаму генератар рэзюмэ можа дадаваць інфармацыя, якой няма ў арыгінале або чаму з'яўляюцца ілжывыя цытаты і спасылкі: сістэма экстрапалюе шаблоны цытавання, не правяраючы існаванне дакумента.

Нешта падобнае адбываецца і ў візуалізацыі: без дастатковай разнастайнасці або з прадузятасцямі ў наборы дадзеных мадэлі могуць даваць рукі з шасцю пальцамі, нечытэльны тэкст або незразумелыя макеты. Візуальны сінтаксіс адпавядае рэчаіснасці, але змест не адпавядае рэчаіснасці.

Рызыкі і наступствы ў рэальным жыцці

У журналістыцы і дэзінфармацыі пераканаўчая ілюзія можа быць узмоцнена ў другасных сетках і СМІ. Сфальсіфікаваны загаловак або факт, які здаецца праўдападобным. можа хутка распаўсюджвацца, што ўскладняе наступную карэкцыю.

У медыцынскай галіне дрэнна адкалібраваная сістэма можа прывесці да памылковых інтэрпрэтацый peligrosas para la salud, ад дыягназаў да рэкамендацый. Прынцып разважлівасці тут неабавязковы.

У юрыдычным плане мадэлі могуць ствараць карысныя чарнавікі, а таксама ўстаўляць неіснуючая судовая практыка або дрэнна складзеныя цытаты. Памылка можа мець сур'ёзныя наступствы для працэдуры.

У адукацыі сляпая залежнасць ад рэзюмэ або аўтаматычных адказаў можа увекавечыць errores conceptualesІнструмент каштоўны для навучання, пакуль ёсць кантроль і праверка.

Стратэгіі змякчэння наступстваў: што робіцца і што вы можаце зрабіць

Ці можна пазбегнуць галюцынацый штучнага інтэлекту, ці хаця б паменшыць іх? Распрацоўшчыкі працуюць над некалькімі ўзроўнямі.

Una de las primeras es палепшыць якасць дадзеных: балансаванне крыніц, адладка памылак і абнаўленне корпусаў дадзеных для памяншэння прадузятасцяў і прабелаў, якія спрыяюць галюцынацыям. Да гэтага дадаюцца сістэмы verificación de hechos (праверка фактаў) і падыходы дапоўненага аднаўлення (ARA), якія прымушаюць мадэль абапірацца на надзейныя дакументальныя базы, а не на «ўяўныя» адказы.

Карэкцыя з водгукі чалавека (RLHF і іншыя варыянты) застаецца ключом да пакарання за шкодныя, прадузятыя або няправільныя вынікі і для навучання мадэлі больш асцярожным стылям рэагавання. Яны таксама распаўсюджваюцца папярэджанні аб надзейнасці у інтэрфейсах, нагадваючы карыстальніку, што адказ можа ўтрымліваць памылкі і што ён нясе адказнасць за яго праверку, асабліва ў кантэкстах канфідэнцыйнай інфармацыі.

Яшчэ адзін фронт, які развіваецца, — гэта інтэрпрэтабельнасцьКалі сістэма можа растлумачыць паходжанне сцвярджэння або даць спасылку на крыніцы, карыстальнік мае больш інструментаў для ацэнкі яго праўдзівасці, перш чым давяраць яму. Для карыстальнікаў і бізнесу важныя некаторыя простыя практыкі: праверка дадзеных, запыты відавочныя крыніцы, абмяжоўваць выкарыстанне ў зонах падвышанай рызыкі, трымаць людзей «у курсе» і дакументаваць працэсы праверкі.

Вядомыя абмежаванні і папярэджанні ад саміх вытворцаў

Кампаніі, адказныя за мадэлі, прызнаюць абмежаванні. У выпадку GPT-4 яны былі выразна пазначаны. прадузятасці, галюцынацыі і супярэчлівыя паказанні адносна актыўных працоўных абласцей.

Шмат якія з першапачатковых праблем у спажывецкіх чат-ботах былі памяншаецца з дапамогай ітэрацыяўале нават у ідэальных умовах могуць узнікнуць непажаданыя вынікі. Чым больш пераканаўчая прэзентацыя, тым большая рызыка празмернай самаўпэўненасці.

Па гэтай прычыне значная частка інстытуцыйнай камунікацыі настойвае на тым, каб не выкарыстоўваць гэтыя інструменты для медыцынская або юрыдычная кансультацыя без экспертнай ацэнкі, і што яны з'яўляюцца імавернаснымі памочнікамі, а не безпамылковымі аракуламі.

Найбольш распаўсюджаныя формы галюцынацый

Гэта найбольш распаўсюджаны спосаб праяўлення галюцынацый ІА:

• У тэксце часта можна ўбачыць выдуманыя цытаты і бібліяграфііМадэль капіюе «форму» спасылкі, але прыдумляе праўдападобных аўтараў, даты ці назвы.
• Таксама з'яўляюцца выдуманыя або выдуманыя падзеі няправільныя даты у гістарычных храналогіях. Выпадак каранацыі Карла III ілюструе, як часовая дэталь можа быць скажоная, не губляючы пры гэтым плыўнасці прозы.
• На фота класічныя артэфакты ўключаюць канечнасці з немагчымымі анатоміямі, нечытэльны тэкст на выяве або прасторавыя неадпаведнасці, якія на першы погляд застаюцца незаўважнымі.
• У перакладзе, сістэмы могуць прыдумляць сказы калі сутыкаюцца з вельмі лакальнымі або незвычайнымі выразамі, альбо прымусова выкарыстоўваюць эквіваленты, якіх няма ў мове перакладу.

Галюцынацыі ІА — гэта не ізаляваная з'ява, а ўзнікшая ўласцівасць імавернасныя сістэмы, навучаныя на няпоўных дадзеных. Распазнаванне яго прычын, вывучэнне рэальных выпадкаў і ўкараненне тэхнічных і працэсных мер па змякчэнні наступстваў дазваляе нам выкарыстоўваць штучны інтэлект значным чынам, не выпускаючы з-пад увагі той факт, што, незалежна ад таго, наколькі гнуткім гэта можа гучаць, адказ заслугоўвае даверу толькі тады, калі ён мае правераную аснову.