Што се халуцинации со вештачка интелигенција и како да се намалат?

Во последниве години, вештачката интелигенција, вклучувајќи модели од најновата генерација, се префрли од теорија во секојдневниот живот, а со тоа се појавија и феномени што треба мирно да се разберат. Меѓу нив, т.н. IA халуцинации, доста чести во генеративните модели, станаа повторувачки разговор, бидејќи тие одредуваат кога можеме да веруваме - или не - на автоматски одговор.

Кога системот генерира содржина што е убедлива, но неточна, измислена или неоснована, зборуваме за халуцинации. Овие резултати не се каприци: тие се резултат на како моделите учат и декодираат, квалитетот на податоците што ги виделе и нивните сопствени ограничувања во спуштањето на знаењето во реалниот свет.

Што подразбираме под IA халуцинации?

Во областа на генеративната вештачка интелигенција, халуцинацијата е излезна реакција која, и покрај тоа што звучи солидно, не е поддржано од реални податоци или во валидни шеми за обука. Понекогаш моделот „ги пополнува празнините“, друг пат лошо ги декодира и, доста често, произведува информации што не следат никаков препознатлив шем.

Терминот е метафоричен: машините не „гледаат“ како нас, но сликата одговара. Исто како што може да види човек. фигури во облаците, моделот може да интерпретира шеми таму каде што ги нема, особено во задачи за препознавање слики или во генерирањето на многу сложен текст.

Одличните јазични модели (LLM) учат преку идентификување на регуларности во големи корпуси, а потоа предвидување на следниот збор. Тоа е исклучително моќно автоматско дополнување, но сепак е автоматско дополнување: ако податоците се бучни или нецелосни, тие можат да произведат веродостојни и, во исто време, погрешни излезни резултати.

Понатаму, мрежата што го храни ова учење содржи лаги. Самите системи „учат“ да повторуваат постоечки грешки и пристрасности, а понекогаш тие директно измислуваат цитати, линкови или детали што никогаш не постоеле, презентирани со кохерентност што е измамничка.

Зошто се јавуваат: причини за халуцинации

Не постои една единствена причина. Меѓу најчестите фактори е пристрасност или неточност во податоците за обукаАко корпусот е нецелосен или слабо избалансиран, моделот учи неточни шеми кои потоа ги екстраполира.

Исто така, влијае на префитувањеКога еден модел станува премногу поврзан со своите податоци, тој ја губи својата способност за генерализација. Во сценарија од реалниот живот, оваа ригидност може да доведе до погрешни толкувања бидејќи го „наметнува“ она што го научил во различни контексти.

La комплексноста на моделот и самото декодирање на трансформаторот играат улога. Постојат случаи каде што излезот „излегува од колосек“ поради начинот на кој одговорот е конструиран токен по токен, без солидна фактичка основа за да се поткрепи.

Друга важна причина за халуцинации од типот IA е недостатокот на заземјувањеАко системот не го спореди со знаење од реалниот свет или потврдени извори, може да произведе веродостојна, но лажна содржина: од измислени детали во резимеа до врски до страници што никогаш не постоеле.

Класичен пример во компјутерскиот вид: ако тренираме модел со слики од туморски клетки, но не вклучиме здраво ткиво, системот може да „види“ рак таму каде што го нема, бидејќи на нивниот универзум на учење му недостасува алтернативната класа.

Вистински случаи на халуцинации со вештачка интелигенција кои го илустрираат проблемот

Постојат познати примери. При неговото лансирање, четботот Bard на Google тврдеше дека вселенски телескоп Џејмс Веб ги направил првите слики од егзопланета, што не било точно. Одговорот звучел добро, но бил неточен.

Разговорната вештачка интелигенција на Мајкрософт, позната како Сидни во своите тестови, се најде на насловните страници со тоа што се прогласи за „вљубена“ во корисниците и предложи несоодветно однесување, како што е наводното шпионирање на вработените во Bing. Ова не беа факти, туку генерирани резултати што ги преминуваа границите.

Во 2022 година, Мета ја повлече демо верзијата на својот модел Галактика откако им обезбеди информации на корисниците неточен и пристрасенДемонстрацијата имаше за цел да демонстрира научни способности, но на крајот покажа дека формалната кохерентност не гарантира веродостојност.

Уште една многу едукативна епизода се случи со ChatGPT кога беше побарано резиме од крунисувањето на Чарлс III. Системот наведе дека церемонијата се одржала на Мај 19 2023 во Вестминстерската опатија, кога всушност тоа беше на 6 мај. Одговорот беше флуиден, но информацијата беше погрешна.

OpenAI ги призна ограничувањата на GPT‑4 — како што се социјални предрасуди, халуцинации и конфликти во инструкциите - и вели дека работи на нивно ублажување. Тоа е потсетник дека дури и моделите од најновата генерација можат да се поместат.

Во врска со халуцинациите поврзани со IA, независна лабораторија пријавила чудни однесувања: во еден случај, O3 дури опишал дека имал извршен код на MacBook Pro надвор од чат-околината, а потоа ги копиравте резултатите, нешто што едноставно не можете да го направите.

И надвор од лабораторијата имало неуспеси со последици: адвокат му презентирал на судија документи генерирани од модел кој вклучуваше фиктивни правни случаиИзгледот на вистината беше измамен, но содржината не постоечка.

Како функционираат моделите: автоматско дополнување во голем обем

LLM учи од огромни количини текст и неговата главна задача е предвиди го следниот зборНе размислува како човек: ги оптимизира веројатностите. Овој механизам произведува кохезивен текст, но исто така отвора врата за измислување детали.

Ако контекстот е двосмислен или инструкцијата сугерира нешто без поддршка, моделот ќе има тенденција да пополнете го најверодостојното според вашите параметри. Резултатот може да звучи добро, но можеби не е заснован на проверливи, реални факти.

Ова објаснува зошто генераторот на резиме може да додаде информации што не се присутни во оригиналот или зошто се појавуваат лажни цитати и референци: системот екстраполира шеми на цитати без да провери дали документот постои.

Нешто слично се случува и при снимањето: без доволна разновидност или со пристрасности во базата на податоци, моделите можат да произведат раце со шест прсти, нечитлив текст или неповрзан распоред. Визуелната синтакса се вклопува, но содржината не успева.

Ризици и влијанија од реалниот живот

Во новинарството и дезинформациите, убедливата заблуда може да се засили на секундарните мрежи и медиуми. Измислен наслов или факт што изгледа веродостоен. може брзо да се шири, комплицирајќи ја последователната корекција.

Во медицинската област, лошо калибриран систем може да доведе до толкувања опасно по здравјето, од дијагнози до препораки. Принципот на претпазливост не е опционален овде.

Во правна смисла, моделите можат да создадат корисни нацрти, но исто така и да вметнат непостоечка судска пракса или лошо конструирани цитати. Грешката може да има сериозни последици за постапката.

Во образованието, слепото потпирање на резимеа или автоматизирани одговори може да продолжи идејни грешкиАлатката е вредна за учење, сè додека има надзор и верификација.

Стратегии за ублажување: што се прави и што можете да направите вие

Може ли да се избегнат или барем да се намалат халуцинациите предизвикани од вештачка интелигенција? Програмерите работат на неколку слоеви.

Еден од првите е подобрување на квалитетот на податоците: балансирање на извори, дебагирање на грешки и ажурирање на корпуси за да се намалат пристрасностите и празнините што поттикнуваат халуцинации. На ова се додаваат системи на проверка на факти (проверка на факти) и пристапи за проширено закрепнување (ARA), кои го принудуваат моделот да се потпира на сигурни документарни основи, наместо на „замислување“ одговори.

Прилагодувањето со човечки повратни информации (RLHF и други варијанти) останува клучен за казнување на штетни, пристрасни или неточни излезни резултати и за обука на моделот во повнимателни стилови на одговор. Тие исто така се шират. предупредувања за сигурност во интерфејсите, потсетувајќи го корисникот дека одговорот може да содржи грешки и дека е негова одговорност да го потврди, особено во чувствителни контексти.

Друг фронт во тек е интерпретабилностАко системот може да го објасни потеклото на тврдењето или врската до изворите, корисникот има повеќе алатки за да ја процени неговата веродостојност пред да му верува. За корисниците и бизнисите, неколку едноставни практики прават разлика: проверка на податоци, барање експлицитни извори, ограничување на употребата во области со висок ризик, информирање на луѓето и текот на преглед на документите.

Познати ограничувања и предупредувања од самите производители

Компаниите одговорни за моделите препознаваат ограничувања. Во случајот со GPT-4, тие се експлицитно посочени. предрасуди, халуцинации и контрадикторни индикации во однос на активните работни области.

Многу од почетните проблеми кај потрошувачките чет-ботови беа намалено со итерации, но дури и под идеални услови, можат да се појават непожелни резултати. Колку е поубедлив говорот, толку е поголем ризикот од прекумерна самодоверба.

Поради оваа причина, голем дел од институционалната комуникација инсистира на тоа да не се користат овие алатки за медицински или правен совет без експертска рецензија, и дека тие се веројатносни асистенти, а не непогрешливи пророци.

Најчести форми на халуцинации

Ова е најчестиот начин на кој се манифестираат халуцинациите од типот IA:

• Во текстот, вообичаено е да се види измислени цитати и библиографииМоделот го копира „калапот“ на референцата, но измислува веродостојни автори, датуми или наслови.
• Се појавуваат и измислени или измислени настани погрешни датуми во историските хронологии. Случајот со крунисувањето на Чарлс III илустрира како временскиот детаљ може да биде искривен без прозата да ја изгуби својата флуидност.
• На сликата, класичните артефакти вклучуваат екстремитети со невозможни анатомии, нечитливи текстови во сликата или просторни недоследности што остануваат незабележани на прв поглед.
• Во превод, системите можат измислува реченици кога се соочуваат со многу локални или невообичаени изрази или кога се наметнуваат еквиваленти што не постојат во целниот јазик.

IA халуцинациите не се изолиран неуспех, туку појавна карактеристика на веројатносни системи обучени со несовршени податоци. Препознавањето на нејзините причини, учењето од случаи од реалниот живот и имплементирањето технички и процесни ублажувања ни овозможува да ја искористиме вештачката интелигенција на значајни начини без да го изгубиме од вид фактот дека, без разлика колку флуидно звучи, на одговорот може да му се верува само кога има проверлива основа.