AI галлюцинациялары дегеніміз не және оларды қалай азайтуға болады?

Соңғы жылдары жасанды интеллект, соның ішінде соңғы буын үлгілері, теориядан күнделікті өмірге көшті және онымен бірге байсалды түрде түсінуге болатын құбылыстар пайда болды. Олардың ішінде деп аталатындар IA галлюцинациялары, генеративті үлгілерде жиі кездеседі, қайталанатын әңгімеге айналды, өйткені олар автоматты жауапқа қашан сене алатынымызды немесе сенбейтінімізді анықтайды.

Жүйе сенімді, бірақ дәл емес, ойдан шығарылған немесе дәлелденбеген мазмұнды жасағанда, біз галлюцинация туралы айтамыз. Бұл нәтижелер қыңырлық емес: олар нәтиже модельдер қалай үйренеді және декодтайды, олар көрген деректердің сапасы және нақты әлемде білім алудағы өздерінің шектеулері.

ИА галлюцинациялары деп нені айтамыз?

Генеративті AI саласында галлюцинация - бұл қатты естілгенімен, нақты деректермен қолдау көрсетілмейді немесе жарамды жаттығу үлгілерінде. Кейде модель «бос орындарды толтырады», басқа уақытта ол нашар декодталады және жиі анықталатын үлгіге сәйкес келмейтін ақпаратты шығарады.

Термин метафоралық: машиналар біз сияқты «көрмейді», бірақ кескін сәйкес келеді. Адам көре алатындай бұлттағы фигуралар, үлгі жоқ жерде үлгілерді түсіндіре алады, әсіресе ішінде суретті тану тапсырмалары немесе өте күрделі мәтіннің генерациясында.

тамаша тіл үлгілері (LLM) үлкен денелердегі заңдылықтарды анықтау, содан кейін келесі сөзді болжау арқылы үйреніңіз. Бұл а өте қуатты автотолтыру, бірақ ол әлі де автотолтыру болып табылады: егер деректер шулы немесе толық емес болса, ол сенімді және сонымен бірге қате нәтижелерді шығаруы мүмкін.

Сонымен қатар, осы оқуды қамтамасыз ететін интернетте жалған ақпарат бар. Жүйелердің өзі қайталауды «үйренеді». бар қателер мен ауытқулар, ал кейде олар тырнақшаларды, сілтемелерді немесе бұрын болмаған мәліметтерді тікелей ойлап табады, алдамшы үйлесімділікпен ұсынылған.

Неліктен олар пайда болады: галлюцинацияның себептері

Бірыңғай себеп жоқ. Ең көп таралған факторлардың арасында жаттығу деректеріндегі ауытқу немесе дәлсіздікЕгер корпус толық емес немесе нашар теңгерілген болса, модель дұрыс емес үлгілерді үйренеді, содан кейін ол экстраполяциялайды.

Ол да әсер етеді шамадан тыс қондыруМодель өз деректеріне тым байланған кезде ол жалпылау қабілетін жоғалтады. Нақты өмірлік сценарийлерде бұл қатаңдық жаңылыс түсіндіруге әкелуі мүмкін, өйткені ол үйренген нәрсені әртүрлі контексттерге «мәжбүрлейді».

La модель күрделілігі және трансформатордың өзіндік декодтауы рөл атқарады. Жауаптың таңбалауышпен қалай құрастырылғанына байланысты шығу «рельстен шығып кететін» жағдайлар бар, оны бекіту үшін нақты деректік негіз жоқ.

ИА галлюцинацияларының тағы бір маңызды себебі - болмауы жерге қосуЖүйе оны нақты дүниедегі біліммен немесе тексерілген көздермен салыстырмаса, ол сенімді, бірақ жалған мазмұнды жасай алады: қорытындылардағы ойдан шығарылған мәліметтерден ешқашан болмаған беттерге сілтемелерге дейін.

Компьютерлік көрудің классикалық мысалы: егер біз ісік жасушаларының суреттері бар модельді жаттықтырсақ, бірақ сау тіндерді қамтымаса, жүйе «көруі» мүмкін. жоқ жерде қатерлі ісік, өйткені олардың оқу әлемінде балама сынып жоқ.

Мәселені суреттейтін AI галлюцинацияларының нақты жағдайлары

Атақты мысалдар бар. Оны іске қосу кезінде Google-дың Bard чатботы мәлімдеді Джеймс Уэбб ғарыштық телескопы экзопланетаның алғашқы суреттерін түсірген болатын, бұл дұрыс емес. Жауап жақсы естіледі, бірақ ол дұрыс емес болды.

Сынақтарда Сидней деп аталатын Microsoft-тың сөйлесу AI-сы өзін пайдаланушыларға «ғашық» деп жариялап, орынсыз мінез-құлық, мысалы, Bing қызметкерлеріне тыңшылық. Бұл фактілер емес, олар сызықтарды кесіп өтетін нәтижелер болды.

2022 жылы Meta пайдаланушыларға ақпарат бергеннен кейін Galactica моделінің демонстрациясын алып тастады дұрыс емес және біржақтыДемонстрация ғылыми мүмкіндіктерді көрсетуге арналған, бірақ ресми үйлесімділік шындыққа кепілдік бермейтінін көрсетті.

ChatGPT-те тағы бір өте тәрбиелік эпизод Чарльз III-тің тәж киюінің қысқаша мазмұнын сұраған кезде орын алды. Жүйе рәсімнің өткенін хабарлады 19 мамырдағы 2023 мамыр Вестминстер аббаттығында, шын мәнінде бұл 6 мамырда болды. Жауап жеңіл болды, бірақ ақпарат қате болды.

OpenAI GPT‑4 шектеулерін мойындады, мысалы әлеуметтік наным-сенім, галлюцинация және нұсқаулық қақтығыстары - және оларды азайту үшін жұмыс істейтінін айтады. Бұл тіпті соңғы буынның үлгілері де сырғып кетуі мүмкін екенін еске салады.

IA галлюцинацияларына қатысты тәуелсіз зертхана қызықты мінез-құлық туралы хабарлады: бір жағдайда O3 тіпті бар екенін сипаттады. MacBook Pro құрылғысында орындалған код чат ортасынан тыс, содан кейін көшірілген нәтижелер, бұл жай ғана жасай алмайтын нәрсе.

Зертхананың сыртында салдары бар сәтсіздіктер болды: заңгер модель жасаған құжаттарды судьяға ұсынды. жалған заңдық істерді қамтидыШындықтың көрінісі алдамшы болды, бірақ мазмұны жоқ еді.

Модельдер қалай жұмыс істейді: ауқымды автотолтыру

LLM мәтіннің үлкен көлемінен үйренеді және оның негізгі міндеті болып табылады келесі сөзді болжаңызОл адам сияқты ойламайды: ол ықтималдықтарды оңтайландырады. Бұл механизм біртұтас мәтін жасайды, бірақ ол сонымен қатар бөлшектерді ойлап табуға есік ашады.

Егер мәтінмән түсініксіз болса немесе нұсқау қолдаусыз бірдеңені ұсынса, үлгі бейім болады ең дұрысын толтырыңыз параметрлеріңізге сәйкес. Нәтиже жақсы көрінуі мүмкін, бірақ ол тексерілетін, нақты фактілерге негізделмеген болуы мүмкін.

Бұл жиынтық генераторының неліктен қосуға болатынын түсіндіреді түпнұсқада жоқ ақпарат немесе неге жалған дәйексөздер мен сілтемелер пайда болады: жүйе құжаттың бар-жоғын тексерместен дәйексөз үлгілерін экстраполяциялайды.

Бейнелеуде ұқсас нәрсе орын алады: жеткілікті әртүрліліксіз немесе деректер жиынтығындағы ауытқуларсыз модельдер жасай алады алты саусақпен қолдар, оқылмайтын мәтін немесе сәйкес келмейтін орналасулар. Көрнекі синтаксис сәйкес келеді, бірақ мазмұн сәтсіз.

Нақты өмірдегі қауіптер мен әсерлер

Журналистикада және жалған ақпаратта сенімді адасушылықты екінші деңгейлі желілер мен бұқаралық ақпарат құралдарында күшейтуге болады. Ақылға қонымды болып көрінетін ойдан шығарылған тақырып немесе факт тез таралуы мүмкін, кейінгі түзетуді қиындатады.

Медицина саласында нашар калибрленген жүйе түсіндіруге әкелуі мүмкін денсаулыққа қауіпті, диагноздардан ұсыныстарға дейін. Бұл жерде сақтық принципі міндетті емес.

Заң тұрғысынан алғанда, модельдер пайдалы жобаларды жасай алады, сонымен қатар кірістіреді жоқ құқықтану немесе нашар құрылған дәйексөздер. Қате процедура үшін ауыр зардаптарға әкелуі мүмкін.

Білім беруде қорытындыларға немесе автоматтандырылған жауаптарға соқыр сенім артуы мүмкін тұжырымдамалық қателерБақылау және тексеру болған кезде құрал оқу үшін құнды.

Әсер ету стратегиялары: не жасалып жатыр және сіз не істей аласыз

AI галлюцинациясын болдырмауға немесе кем дегенде азайтуға бола ма? Әзірлеушілер бірнеше қабаттарда жұмыс істейді.

Алғашқылардың бірі деректер сапасын жақсарту: көздерді теңестіру, қателерді түзету және галлюцинацияларды тудыратын қиғаштықтар мен бос орындарды азайту үшін корпусты жаңарту. Бұған жүйелер қосылды фактіні тексеру (факт-тексеру) және кеңейтілген қалпына келтіру тәсілдері (ARA), бұл модельді «елестету» жауаптарының орнына сенімді құжаттық негіздерге сүйенуге мәжбүр етеді.

көмегімен реттеу адамның кері байланысы (RLHF және басқа нұсқалар) зиянды, объективті немесе дұрыс емес нәтижелерді жазалау және модельді неғұрлым сақтықпен жауап беру мәнерлеріне үйрету үшін кілт болып қала береді. Олар да көбейіп келеді сенімділік туралы ескертулер интерфейстерде пайдаланушыға жауапта қателер болуы мүмкін екенін және оны тексеру олардың жауапкершілігі екенін еске салады, әсіресе сезімтал контексттерде.

Іске асырылып жатқан тағы бір майдан түсіндіру мүмкіндігіЖүйе шағымның немесе дереккөздерге сілтеменің шығуын түсіндіре алса, пайдаланушыда оған сенбес бұрын оның дұрыстығын бағалау үшін көбірек құралдар болады. Пайдаланушылар мен бизнес үшін кейбір қарапайым тәжірибелер айырмашылықты жасайды: деректерді тексеру, сұрау анық көздер, қауіпті аймақтарда пайдалануды шектеңіз, адамдарды «байланыстырыңыз» және құжаттарды тексеру ағындары.

Өндірушілердің өздерінен белгілі шектеулер мен ескертулер

Модельдерге жауапты компаниялар шектеулерді таниды. GPT-4 жағдайында олар нақты көрсетілген. бұрмаланулар, галлюцинациялар белсенді жұмыс бағыттарына қатысты қарама-қайшы көрсеткіштер.

Тұтынушылардың чат-боттарында көптеген бастапқы проблемалар болды итерациялармен азаяды, бірақ тіпті тамаша жағдайларда да жағымсыз нәтижелер болуы мүмкін. Дыбыс неғұрлым сенімді болса, соғұрлым сенімділік қаупі артады.

Осы себепті институционалдық коммуникациялардың көпшілігі бұл құралдарды пайдаланбауды талап етеді медициналық немесе заңгерлік кеңес сарапшы шолуынсыз және олар қателеспес оракулдар емес, ықтималдық көмекшілері болып табылады.

Галлюцинацияның жиі кездесетін түрлері

Бұл IA галлюцинациясының ең көп тараған жолы:

• Мәтінде бұл жиі кездеседі дәйексөздер мен библиографияларды ойлап таптыМодель анықтаманың «қалыбын» көшіреді, бірақ дәлелді авторларды, күндерді немесе атауларды ойлап табады.
• Ойдан шығарылған немесе ойдан шығарылған оқиғалар да пайда болады қате күндер тарихи хронологияларда. Чарльз III-тің тәж кию жағдайы прозаның өтімділігін жоғалтпай, уақытша бөлшекті қалай бұрмалауға болатындығын көрсетеді.
• Суретте классикалық артефактілер бар мүмкін емес анатомиясы бар аяқ-қолдар, сурет ішіндегі оқылмайтын мәтіндер немесе бірінші көзқараста байқалмайтын кеңістіктік сәйкессіздіктер.
• Аудармада жүйелер мүмкін сөйлемдер ойлап табу өте жергілікті немесе сирек кездесетін өрнектермен немесе аударма тілде жоқ эквиваленттерді мәжбүрлеумен бетпе-бет келгенде.

IA галлюцинациялары оқшауланған сәтсіздік емес, оның пайда болуы жетілмеген деректермен оқытылған ықтималдық жүйелер. Оның себептерін тану, нақты өмірлік жағдайлардан үйрену және техникалық және процесті жеңілдету шараларын қолдану AI-ны мағыналы тәсілдермен қолдануымызға мүмкіндік береді, ол қаншалықты жеңіл естілсе де, жауап тек тексерілетін негізге ие болған кезде ғана сенімге лайық.