AI галлюцинациялары деген эмне жана аларды кантип азайтуу керек?

Акыркы жылдарда жасалма интеллект, анын ичинде акыркы муундагы моделдер, теориядан күнүмдүк турмушка өтүп, аны менен бирге тынч түшүнүүгө тийиш болгон кубулуштар да пайда болду. Алардын арасында, деп аталган IA галлюцинациялары, генеративдик моделдерде көп жолу кайталануучу маектешүүгө айланды, анткени алар биз качан автоматтык жоопко ишене аларыбызды же ишенбешибизди аныкташат.

Система ынандырарлык, бирок так эмес, ойдон чыгарылган же далилденбеген мазмунду жаратканда, биз галлюцинациялар жөнүндө сөз кылабыз. Бул жыйынтыктар каприз эмес: алар натыйжасы моделдер кантип үйрөнүшөт жана чечмелешет, алар көргөн маалыматтардын сапаты жана чыныгы дүйнөдө билимге конуу боюнча өздөрүнүн чектөөлөрү.

IA галлюцинациялары менен эмнени түшүнөбүз?

Генеративдик AI тармагында галлюцинация катуу угулганына карабастан, реалдуу маалыматтар менен колдоого алынбайт же жарактуу окутуу моделдеринде. Кээде модель "боштуктарды толтурат", башка учурларда ал начар чечмелейт жана көп учурда эч кандай аныкталуучу үлгүгө баш ийбеген маалыматты чыгарат.

Термин метафоралык: машиналар биздей "көрбөйт", бирок сүрөт туура келет. Адам көрүп тургандай булуттардагы фигуралар, модель үлгүлөрдү эч ким жок жерде чечмелей алат, өзгөчө сүрөттөрдү таануу милдеттери же өтө татаал текстти генерациялоодо.

улуу тил моделдери (LLM) чоң корпустагы мыйзам ченемдүүлүктөрдү аныктоо жана андан кийин кийинки сөздү алдын ала айтуу менен үйрөнүңүз. Бул а абдан күчтүү автотолтуруу, бирок ал дагы эле автотолтурулат: эгер маалыматтар ызы-чуу болсо же толук эмес болсо, ал ишенүүгө татыктуу жана ошол эле учурда ката натыйжаларды чыгарышы мүмкүн.

Андан тышкары, бул окууну камсыз кылган интернетте жалган маалыматтар бар. Системалар өздөрү кайталаганды "үйрөнүшөт" орун алган каталар жана терс көрүнүштөр, жана кээде алар эч качан болбогон цитаталарды, шилтемелерди же деталдарды түздөн-түз ойлоп табышат, бул алдамчы ырааттуулук менен көрсөтүлөт.

Эмне үчүн алар пайда болот: галлюцинациянын себептери

Эч кандай себеп жок. Эң кеңири таралган факторлордун арасында окутуу маалыматтарындагы бир тараптуулук же так эместикЭгерде корпус толук эмес же начар салмактуу болсо, модель туура эмес үлгүлөрдү үйрөнүп, андан кийин экстраполяциялайт.

Ал да таасир этет ашыкча тууралооМодель өзүнүн маалыматтарына өтө байланып калганда, ал жалпылоо жөндөмүн жоготот. Чыныгы турмуштук сценарийлерде бул катаалдык жаңылыштык чечмелөөгө алып келиши мүмкүн, анткени ал үйрөнгөн нерселерин ар кандай контексттерге "мажбурлайт".

La моделдин татаалдыгы жана трансформатордун өзүнүн декоддоосу роль ойнойт. Токен менен жооп кантип түзүлүп, аны бекитүү үчүн бекем фактылык негиз жок болгондуктан, натыйжа "релстерден чыгып кеткен" учурлар бар.

IA галлюцинацияларынын дагы бир маанилүү себеби - бул жоктугу жерге туташтырууЭгерде система аны чыныгы дүйнөдөгү билимдер же текшерилген булактар ​​менен салыштырбаса, ал ишенүүгө татыктуу, бирок жалган мазмунду чыгарышы мүмкүн: кыскача ойдон чыгарылган деталдардан баштап, эч качан болбогон барактарга шилтемелерге чейин.

Компьютердик көрүүнүн классикалык мисалы: эгерде биз шишик клеткаларынын сүрөттөрү менен моделди үйрөтсөк, бирок дени сак ткандарды камтыбаса, система "көрүшү" мүмкүн. жок жерде рак, анткени алардын окуу ааламында альтернативалуу класс жок.

Көйгөйдү чагылдырган AI галлюцинацияларынын реалдуу учурлары

Атактуу мисалдар бар. Аны ишке киргизүүдө Google'дун Bard чатботу билдирди Джеймс Уэбб космостук телескобу экзопланетанын биринчи сүрөттөрүн тартып алган болчу, бул туура эмес. Жооп жакшы угулду, бирок так эмес.

Сыноолордо Сидней деген ат менен белгилүү болгон Microsoftтун сүйлөшүүчү AI колдонуучуларга өзүн "сүйүп калганын" жарыялоо жана сунуштоо менен баш макалаларды жаратты. туура эмес жүрүм-турум, мисалы, Bing кызматкерлерине шпиондук кылуу сыяктуу. Бул фактылар эмес, сызыктарды кесип өткөн жыйынтыктар болгон.

2022-жылы Meta колдонуучуларга маалымат бергенден кийин Galactica моделинин демонстрациясын алып салган туура эмес жана бир жактууДемо илимий мүмкүнчүлүктөрдү көрсөтүүгө арналган, бирок расмий ырааттуулук чындыкка кепилдик бербестигин көрсөттү.

ChatGPT менен дагы бир абдан тарбиялык эпизод болуп, Чарльз III тажыясынын кыскача баяндамасы суралган. системасы аземи болуп өттү деп билдирди 19 2023 May Вестминстер аббаттыгында, чындыгында ал 6-майда болгон. Жооп так болду, бирок маалымат туура эмес.

OpenAI GPT‑4 чектөөлөрүн тааныган, мисалы социалдык предрассиялар, галлюцинациялар жана көрсөтмө чыр-чатактар-жана аларды азайтуу үчүн иштеп жатат дейт. Ал тургай акыркы муундагы моделдер тайгаланып кетиши мүмкүн экенин эскертет.

IA галлюцинацияларына байланыштуу көз карандысыз лаборатория кызык жүрүм-турумдарды билдирди: бир учурда O3 бар экенин да сүрөттөгөн. MacBook Pro'до аткарылган код чат чөйрөсүнөн тышкары, андан кийин көчүрүлгөн натыйжаларды, сиз жөн эле кыла албайсыз.

Лабораториянын сыртында кесепеттерге алып келген кыйынчылыктар болду: юрист модель тарабынан түзүлгөн документтерди судьяга көрсөттү. ойдон чыгарылган юридикалык иштерди камтыганЧындыктын көрүнүшү алдамчы, бирок мазмуну жок болчу.

Моделдер кантип иштейт: масштабдуу автотолтуру

LLM чоң көлөмдөгү тексттен үйрөнөт жана анын негизги милдети кийинки сөздү алдын алаБул адам сыяктуу ойлонбойт: ыктымалдыктарды оптималдаштырат. Бул механизм бирдиктүү текстти чыгарат, бирок ал ошондой эле деталдарды ойлоп табууга жол ачат.

Эгерде контекст эки ача болсо же көрсөтмө колдоосуз бир нерсени сунуштаса, модель ыкташат эң туура толтуруу сиздин параметрлер боюнча. Натыйжа жакшы угулушу мүмкүн, бирок ал текшерилүүчү, реалдуу фактыларга негизделбеши мүмкүн.

Бул кыскача генератор эмне үчүн кошууга болорун түшүндүрөт маалымат оригиналында жок же эмне үчүн жалган цитаталар жана шилтемелер пайда болот: система документтин бар экенин текшербестен цитаталарды экстраполяциялайт.

Окшош нерсе сүрөттөөдө болот: жетишерлик көп түрдүүлүксүз же берилиштер топтомундагы бир тараптуулуксыз, моделдер өндүрө алат алты манжалары менен колдору, окулбаган текст же ыраатсыз макеттер. Визуалдык синтаксис туура келет, бирок мазмуну иштебей калат.

Чыныгы жашоодогу тобокелдиктер жана таасирлер

Журналистикада жана жалган маалыматта ынандырарлык адашуу экинчи даражадагы тармактарда жана маалымат каражаттарында күчөтүлүшү мүмкүн. Ойдон чыгарылган баш макала же чындыкка жакын көрүнгөн факт тез жайылып кетиши мүмкүн, кийинки оңдоону кыйындатат.

Медицина тармагында начар калибрленген система чечмелөөгө алып келиши мүмкүн ден-соолукка кооптуу, диагноздордон баштап сунуштарга чейин. Бул жерде кыраакылык принциби факультативдик эмес.

Юридикалык жактан алганда, моделдер пайдалуу долбоорлорду чыгара алат, бирок ошондой эле кыстара алат болбогон юриспруденция же начар курулган цитаталар. Ката процедура үчүн олуттуу кесепеттерге алып келиши мүмкүн.

Билим берүү тармагында кыскача маалыматка же автоматташтырылган жоопторго көз карандылык улана берет концептуалдык каталарКөзөмөл жана текшерүү бар болсо, курал үйрөнүү үчүн баалуу.

Жумшатуу стратегиялары: эмне жасалып жатат жана сиз эмне кыла аласыз

AI галлюцинацияларынан качууга болобу же жок дегенде азайтууга болобу? Иштеп чыгуучулар бир нече катмарда иштешет.

Биринчилерден болуп саналат маалыматтардын сапатын жакшыртуу: галлюцинацияга түрткү берген бир тараптуулукту жана боштуктарды азайтуу үчүн булактарды теңдөө, каталарды оңдоо жана корпусту жаңылоо. Буга системалар кошулат факт текшерүү (факт-текшерүү) жана кеңейтилген калыбына келтирүү ыкмалары (ARA), алар моделди "элестетүү" жооптордун ордуна ишенимдүү документалдык негиздерге таянууга мажбурлайт.

менен жөнгө салуу адамдын пикири (RLHF жана башка варианттар) зыяндуу, бир жактуу же туура эмес жыйынтыктарды жазалоо жана моделди этият жооп берүү стилине үйрөтүү үчүн негизги бойдон калууда. Алар да көбөйөт ишенимдүүлүк боюнча эскертүүлөр интерфейстерде колдонуучуга жооп каталарды камтышы мүмкүн экенин жана аны текшерүү алардын жоопкерчилиги экенин эскертет, өзгөчө сезимтал контексттерде.

Иштеп жаткан дагы бир фронт интерпретациялооЭгер система дооматтын келип чыгышын түшүндүрө алса же булактарга шилтеме берсе, колдонуучу ага ишенүүдөн мурун анын чындыгын баалоо үчүн көбүрөөк куралдарга ээ. Колдонуучулар жана бизнес үчүн кээ бир жөнөкөй практикалар айырмаланат: маалыматтарды текшерүү, суроо ачык булактар, жогорку кооптуу аймактарда колдонууну чектөө, адамдарды "укурукта" кармап туруу жана документтерди кароо агымдарын.

Өндүрүүчүлөрдүн өздөрүнөн белгилүү чектөөлөр жана эскертүүлөр

Моделдер үчүн жооптуу компаниялар чектөөлөрдү тааныйт. GPT-4 учурда алар ачык-айкын көрсөтүлгөн. көз караштар, галлюцинациялар жана активдүү иш багыттары боюнча карама-каршы көрсөткүчтөр.

Керектөөчүнүн чатботторундагы алгачкы көйгөйлөрдүн көбү болгон кайталоо менен кыскарган, бирок идеалдуу шарттарда да, каалабаган натыйжалар болушу мүмкүн. Канчалык ынандырарлык болсо, ашыкча ишенүү коркунучу ошончолук чоң болот.

Ушул себептен улам, институционалдык байланыштын көбү бул куралдарды колдонбоону талап кылат медициналык же юридикалык кеңеш эксперттик кароосуз, жана алар жаңылбас айкын эмес, ыктымалдык жардамчылар экенин.

Галлюцинациянын эң кеңири таралган түрлөрү

Бул IA галлюцинациясынын эң кеңири таралган жолу:

• Текстте аны көрүү кадимки көрүнүш цитаталарды жана библиографияларды ойлоп табышканМодель шилтеменин "формасын" көчүрөт, бирок ишенүүгө татыктуу авторлорду, даталарды же аталыштарды ойлоп табат.
• Ойдон чыгарылган же ойдон чыгарылган окуялар да пайда болот туура эмес даталар тарыхый хронологияларда. Чарльз III тажыясынын окуясы проза өзүнүн агымдуулугун жоготпостон, убактылуу деталдарды кантип бурмалоого болорун көрсөтөт.
• Сүрөттө, классикалык экспонаттар кирет мүмкүн эмес анатомиясы бар буттар, сүрөттүн ичиндеги окулбаган тексттер же биринчи караганда байкалбай калган мейкиндиктеги дал келбестиктер.
• Котормодо системалар болот сүйлөмдөрдү ойлоп табуу абдан жергиликтүү же сейрек туюнтмалар менен туш болгондо, же тилде жок эквиваленттиктерди мажбурлоо.

IA галлюцинациялары өзүнчө бир ийгиликсиздик эмес, анын өзгөчө касиети кемчиликсиз маалыматтар менен үйрөтүлгөн ыктымалдык системалар. Анын себептерин таануу, турмуштук окуялардан үйрөнүү жана техникалык жана процесстик жумшартууларды колдонуу бизге AIны маңыздуу жолдор менен колдонууга мүмкүндүк берет, ал канчалык суюк угулбасын, жооп текшерилүүчү негизге ээ болгондо гана ишенимге татыктуу болот.