Ի՞նչ են արհեստական ​​ինտելեկտի հալյուցինացիաները և ինչպե՞ս դրանք նվազեցնել։

Վերջին տարիներին արհեստական ​​բանականությունը, այդ թվում՝ վերջին սերնդի մոդելներ, տեսությունից անցել է առօրյա կյանքի, և դրա հետ մեկտեղ ի հայտ են եկել երևույթներ, որոնք պետք է հանգիստ հասկանալ։ Դրանց թվում են այսպես կոչվածը։ IA հալյուցինացիաներ, որոնք բավականին հաճախ են հանդիպում գեներատիվ մոդելներում, դարձել են կրկնվող զրույցի թեմա, քանի որ դրանք որոշում են, թե երբ կարող ենք վստահել կամ չվստահել ավտոմատ արձագանքին։

Երբ համակարգը ստեղծում է համոզիչ, բայց անճշտ, հորինված կամ անհիմն բովանդակություն, մենք խոսում ենք հալյուցինացիաների մասին։ Այս արդյունքները քմահաճույքներ չեն. դրանք արդյունք են Ինչպես են մոդելները սովորում և վերծանում, նրանց տեսած տվյալների որակը և իրական աշխարհում գիտելիքների կիրառման իրենց սեփական սահմանափակումները։

Ի՞նչ ենք նկատի ունենում IA հալյուցինացիաներով։

Գեներատիվ արհեստական ​​ինտելեկտի ոլորտում հալյուցինացիան արդյունք է, որը, չնայած հստակ հնչելուն, չի աջակցվում իրական տվյալներով կամ վավեր մարզման օրինաչափություններում: Երբեմն մոդելը «լրացնում է բացթողումները», մյուս դեպքերում՝ վատ է վերծանում, և բավականին հաճախ ստեղծում է տեղեկատվություն, որը չի հետևում որևէ նույնականացվող օրինաչափության:

Այս տերմինը փոխաբերական է. մեքենաները չեն «տեսնում» ինչպես մենք, բայց պատկերը համապատասխանում է։ Ճիշտ այնպես, ինչպես մարդը կարող է տեսնել։ ամպերի մեջ պատկերներ, մոդելը կարող է մեկնաբանել օրինաչափություններ այնտեղ, որտեղ դրանք չկան, հատկապես պատկերի ճանաչման առաջադրանքներ կամ բարձր բարդ տեքստերի ստեղծման մեջ։

Լեզվի մեծ մոդելները (LLM) սովորում են՝ մեծ կորպուսներում օրինաչափություններ հայտնաբերելով և այնուհետև հաջորդ բառը կանխատեսելով։ Դա չափազանց հզոր ավտոմատ լրացում, բայց այն դեռևս ավտոմատ լրացում է. եթե տվյալները աղմկոտ են կամ թերի, դրանք կարող են տալ հավանական և միևնույն ժամանակ սխալ արդյունքներ։

Ավելին, այս ուսուցումը սնուցող ցանցը պարունակում է կեղծիքներ։ Համակարգերն իրենք են «սովորում» կրկնել առկա սխալներն ու կողմնակալությունները, և երբեմն նրանք ուղղակիորեն հորինում են երբեք գոյություն չունեցող մեջբերումներ, հղումներ կամ մանրամասներ՝ ներկայացված խաբուսիկ հետևողականությամբ։

Ինչու են դրանք առաջանում. հալյուցինացիաների պատճառները

Միակ պատճառը չկա։ Ամենատարածված գործոններից են՝ մարզման տվյալների կողմնակալություն կամ անճշտությունԵթե ​​կորպուսը թերի է կամ վատ հավասարակշռված, մոդելը սովորում է սխալ օրինաչափություններ, որոնք այնուհետև էքստրապոլացնում է։

Այն նաև ազդում է գերհարմարեցումԵրբ մոդելը չափազանց շատ է կապված իր տվյալների հետ, այն կորցնում է իր ընդհանրացման ունակությունը։ Իրական կյանքի սցենարներում այս կոշտությունը կարող է հանգեցնել մոլորեցնող մեկնաբանությունների, քանի որ այն «պարտադրում» է իր սովորածը տարբեր համատեքստերում։

La մոդելի բարդությունը և տրանսֆորմատորի սեփական վերծանումը դեր են խաղում։ Կան դեպքեր, երբ ելքային ազդանշանը «շեղվում է ռելսերից»՝ ազդանշանի կառուցման եղանակի պատճառով, առանց այն հիմնավորելու ամուր փաստական ​​հիմքի։

IA հալյուցինացիաների մեկ այլ կարևոր պատճառ է բացակայությունը հողանցումԵթե ​​համակարգը չի համեմատում այն ​​իրական աշխարհի գիտելիքների կամ ստուգված աղբյուրների հետ, այն կարող է ստեղծել հավանական, բայց կեղծ բովանդակություն՝ սկսած ամփոփագրերում հորինված մանրամասներից մինչև երբեք գոյություն չունեցող էջերի հղումներ։

Համակարգչային տեսողության դասական օրինակ. եթե մենք մոդելը մարզենք ուռուցքային բջիջների պատկերներով, բայց չներառենք առողջ հյուսվածքը, համակարգը կարող է «տեսնել» քաղցկեղ այնտեղ, որտեղ այն չկա, քանի որ նրանց ուսումնական տիեզերքում բացակայում է այլընտրանքային դասը։

Արհեստական ​​​​հալյուցինացիաների իրական դեպքեր, որոնք պատկերում են խնդիրը

Կան հայտնի օրինակներ։ Իր թողարկման ժամանակ Google-ի Bard չաթբոտը պնդում էր, որ հատուկ հեռադիտակ Ջեյմս Ուեբ արվել էր էկզոմոլորակի առաջին լուսանկարները, ինչը ճիշտ չէր։ Պատասխանը լավ էր հնչում, բայց անճշտ էր։

Microsoft-ի խոսակցական արհեստական ​​բանականությունը, որը իր փորձարկումներում հայտնի է որպես Սիդնեյ, վերնագրերում հայտնվեց՝ հայտարարելով, որ «սիրահարված է» օգտատերերին և առաջարկելով անպատշաճ վարքագիծ, օրինակ՝ Bing-ի աշխատակիցներին ենթադրաբար լրտեսելը։ Սրանք փաստեր չէին, այլ ստեղծված արդյունքներ, որոնք սահմանները հատում էին։

2022 թվականին Meta-ն հետ կանչեց իր Galactica մոդելի դեմո տարբերակը՝ օգտատերերին տեղեկատվություն տրամադրելուց հետո։ սխալ և կողմնակալՑուցադրությունը նախատեսված էր գիտական ​​կարողությունները ցուցադրելու համար, բայց ի վերջո ցույց տվեց, որ ֆորմալ համահունչությունը չի երաշխավորում ճշմարտացիությունը։

Մեկ այլ շատ ուսուցողական դրվագ տեղի ունեցավ ChatGPT-ի հետ, երբ նրանից խնդրեցին ներկայացնել Չարլզ III-ի թագադրման ամփոփումը: Համակարգը նշեց, որ արարողությունը տեղի է ունեցել Մայիս 19 2023 Վեստմինստերյան աբբայությունում, մինչդեռ իրականում դա մայիսի 6-ին էր։ Պատասխանը փոփոխական էր, բայց տեղեկատվությունը սխալ էր։

OpenAI-ը ճանաչել է GPT‑4-ի սահմանափակումները, ինչպիսիք են՝ սոցիալական նախապաշարմունքներ, հալյուցինացիաներ և հրահանգների հակասություններ, և ասում է, որ աշխատում է դրանք մեղմելու ուղղությամբ: Սա հիշեցում է, որ նույնիսկ վերջին սերնդի մոդելները կարող են սխալվել:

IA հալյուցինացիաների վերաբերյալ անկախ լաբորատորիան հայտնել է հետաքրքրաշարժ վարքագծերի մասին. մեկ դեպքում O3-ը նույնիսկ նկարագրել է, որ ունեցել է MacBook Pro-ի վրա կատարված կոդ չաթի միջավայրից դուրս և այնուհետև պատճենել արդյունքները, ինչը դուք պարզապես չեք կարող անել։

Եվ լաբորատորիայից դուրս եղել են հետևանքներով անհաջողություններ. փաստաբանը դատավորին ներկայացրել է մոդելի կողմից ստեղծված փաստաթղթեր, որոնք ներառված էին հորինված դատական ​​գործերՃշմարտության տեսքը խաբուսիկ էր, բայց բովանդակությունը գոյություն չուներ։

Ինչպես են աշխատում մոդելները. մեծածավալ ավտոմատ լրացում

Իրավագիտության մագիստրոսական ծրագիրը սովորում է տեքստի մեծ ծավալներից, և նրա հիմնական խնդիրն է կանխատեսել հաջորդ բառըԱյն չի դատում մարդու նման. այն օպտիմալացնում է հավանականությունները: Այս մեխանիզմը ստեղծում է համահունչ տեքստ, բայց նաև բացում է դուռը մանրամասներ հորինելու համար:

Եթե ​​համատեքստը երկիմաստ է կամ հրահանգը առանց որևէ հիմնավորման ինչ-որ բան է ենթադրում, մոդելը հակված կլինի լրացրեք ամենահավանականը ըստ ձեր պարամետրերի։ Արդյունքը կարող է լավ թվալ, բայց այն կարող է չհիմնված լինել ստուգելի, իրական փաստերի վրա։

Սա բացատրում է, թե ինչու կարող է ամփոփման գեներատորը ավելացնել տեղեկատվությունը բացակայում է բնօրինակում կամ ինչու են հայտնվում կեղծ մեջբերումներ և հղումներ. համակարգը էքստրապոլացնում մեջբերումների օրինաչափությունները՝ առանց ստուգելու, որ փաստաթուղթը գոյություն ունի։

Նմանատիպ բան է տեղի ունենում պատկերման մեջ. առանց բավարար բազմազանության կամ տվյալների բազմության մեջ կողմնակալությունների, մոդելները կարող են ստեղծել ձեռքեր՝ վեց մատներով, անընթեռնելի տեքստ կամ անհամատեղելի դասավորություններ: Տեսողական շարահյուսությունը համապատասխանում է, բայց բովանդակությունը՝ ոչ:

Իրական կյանքի ռիսկերը և հետևանքները

Լրագրության և ապատեղեկատվության մեջ համոզիչ մոլորությունը կարող է ուժեղացվել երկրորդական ցանցերում և լրատվամիջոցներում: Հորինված վերնագիր կամ փաստ, որը թվում է հավանական: կարող է արագ տարածվել, ինչը բարդացնում է հետագա ուղղումը։

Բժշկական ոլորտում վատ կարգավորված համակարգը կարող է հանգեցնել մեկնաբանությունների առողջության համար վտանգավոր, ախտորոշումներից մինչև առաջարկություններ: Խոհեմության սկզբունքը այստեղ ընտրովի չէ:

Իրավական առումով, մոդելները կարող են ստեղծել օգտակար նախագծեր, բայց նաև ներառել գոյություն չունեցող իրավագիտություն կամ վատ կառուցված մեջբերումներ: Սխալը կարող է լուրջ հետևանքներ ունենալ ընթացակարգի համար:

Կրթության մեջ ամփոփագրերին կամ ավտոմատացված պատասխաններին կույր կախվածությունը կարող է շարունակել հայեցակարգային սխալներԳործիքը արժեքավոր է ուսուցման համար, քանի դեռ կա վերահսկողություն և ստուգում։

Մեղմացման ռազմավարություններ. ինչ է արվում և ինչ կարող եք անել դուք

Կարո՞ղ են արհեստական ​​ինտելեկտից առաջացող հալյուցինացիաները խուսափել կամ գոնե նվազեցնել։ Մշակողները աշխատում են մի քանի շերտերի վրա։

Առաջիններից մեկը՝ բարելավել տվյալների որակըաղբյուրների հավասարակշռում, սխալների վրիպազերծում և կորպուսների թարմացում՝ հալյուցինացիաները խթանող կողմնակալություններն ու բացթողումները նվազեցնելու համար։ Դրան ավելացվում են համակարգերը փաստերի ստուգում (փաստերի ստուգում) և լրացված վերականգնման մոտեցումներ (ARA), որոնք մոդելին ստիպում են հույսը դնել հուսալի փաստաթղթային հիմքերի վրա՝ «պատկերացնելով» պատասխաններ։

Կարգավորումը հետ մարդկային արձագանք (RLHF և այլ տարբերակներ) մնում է վնասակար, կողմնակալ կամ սխալ արդյունքները պատժելու և մոդելն ավելի զգույշ արձագանքման ոճերով մարզելու բանալին։ Դրանք նաև տարածվում են։ հուսալիության նախազգուշացումներ ինտերֆեյսներում՝ հիշեցնելով օգտատիրոջը, որ պատասխանը կարող է սխալներ պարունակել, և որ նրանց պարտականությունն է ստուգել այն, հատկապես զգայուն համատեքստերում։

Մեկ այլ ճակատ, որը ընթացքի մեջ է, մեկնաբանելիությունԵթե ​​համակարգը կարող է բացատրել պնդման ծագումը կամ աղբյուրներին հղումը, օգտատերն ավելի շատ գործիքներ ունի դրա իսկությունը գնահատելու համար՝ նախքան դրան վստահելը: Օգտատերերի և բիզնեսների համար մի քանի պարզ գործելակերպեր տարբերություն են ստեղծում՝ տվյալների ստուգումը, հարցնելը բացահայտ աղբյուրներ, սահմանափակել օգտագործումը բարձր ռիսկի գոտիներում, մարդկանց «տեղեկացված պահել» և փաստաթղթերի վերանայման հոսքերը։

Հայտնի սահմանափակումներ և նախազգուշացումներ արտադրողների կողմից

Մոդելների համար պատասխանատու ընկերությունները ճանաչում են սահմանափակումներ։ GPT-4-ի դեպքում դրանք հստակորեն նշվել են։ կողմնակալություններ, հալյուցինացիաներ և ակտիվ աշխատանքային ոլորտների վերաբերյալ հակասական ցուցումներ։

Սպառողական չաթբոտների սկզբնական խնդիրներից շատերը եղել են կրճատվում է իտերացիաներով, սակայն նույնիսկ իդեալական պայմաններում կարող են առաջանալ անցանկալի արդյունքներ։ Որքան համոզիչ է խոսքը, այնքան մեծ է չափազանց վստահության ռիսկը։

Այս պատճառով, ինստիտուցիոնալ հաղորդակցության մեծ մասը պնդում է, որ այս գործիքները չօգտագործվեն բժշկական կամ իրավաբանական խորհրդատվություն առանց փորձագիտական ​​​​գնահատման, և որ նրանք հավանականության օգնականներ են, այլ ոչ թե անսխալական գուշակներ։

Հալյուցինացիաների ամենատարածված ձևերը

Սա IA հալյուցինացիաների դրսևորման ամենատարածված ձևն է.

• Տեքստում սովորական է տեսնել հորինված մեջբերումներ և մատենագրություններՄոդելը պատճենում է հղումների «ձևը», բայց հորինում է հավանական հեղինակներ, ամսաթվեր կամ վերնագրեր։
• Հայտնվում են նաև հորինված կամ հորինված իրադարձություններ սխալ ամսաթվեր պատմական ժամանակագրություններում։ Չարլզ III-ի թագադրման դեպքը ցույց է տալիս, թե ինչպես կարող է ժամանակագրական մանրամասնությունը աղավաղվել՝ առանց արձակը կորցնելու իր հոսունությունը։
• Նկարում ներկայացված դասական արտեֆակտները ներառում են անհնարին անատոմիաներով վերջույթներ, պատկերի ներսում անընթեռնելի տեքստեր կամ տարածական անհամապատասխանություններ, որոնք աննկատ են մնում առաջին հայացքից։
• Թարգմանության մեջ համակարգերը կարող են հորինել նախադասություններ երբ բախվում են շատ տեղական կամ անսովոր արտահայտությունների կամ պարտադրում են համարժեքներ, որոնք գոյություն չունեն թիրախային լեզվում։

IA հալյուցինացիաները մեկուսացված ձախողում չեն, այլ առաջացող հատկություն են։ անկատար տվյալներով մարզված հավանականային համակարգեր։ Դրա պատճառները ճանաչելը, իրական կյանքից դասեր քաղելը և տեխնիկական ու գործընթացային մեղմացման միջոցառումների կիրառումը թույլ են տալիս մեզ իմաստալից կերպով օգտագործել արհեստական ​​բանականությունը՝ առանց մոռանալու այն փաստի մասին, որ անկախ նրանից, թե որքան ճկուն կարող է հնչել, պատասխանը արժանի է վստահության միայն այն դեպքում, երբ այն ունի ստուգելի հիմք։