Ինչպես օգտագործել ձեր համակարգիչը որպես տեղական արհեստական ​​բանականության կենտրոն. Գործնական և համեմատական ​​ուղեցույց

¿Ինչպե՞ս օգտագործել ձեր համակարգիչը որպես տեղական արհեստական ​​ինտելեկտի կենտրոն։ Արհեստական ​​բանականությունն այլևս խոշոր կորպորացիաների կամ ամպային մասնագետների բացառիկ տիրույթը չէ։ Ավելի ու ավելի շատ օգտատերեր ձգտում են օգտագործել արհեստական ​​բանականության լուծումները անմիջապես իրենց անձնական համակարգիչներից՝ տեքստերի ստեղծումից մինչև ստեղծագործական կամ տեխնիկական գործընթացների ավտոմատացում՝ առավելագույն գաղտնիության պայմաններում և առանց արտաքին սերվերների վրա հույս դնելու։ Վերածեք ձեր համակարգիչը տեղական արհեստական ​​ինտելեկտի կենտրոնի Այն մատչելի իրականություն է և հասանելի է գրեթե ցանկացած էնտուզիաստի, մասնագետի կամ ուսանողի համար, նույնիսկ եթե ձեր սարքավորումները ժամանակակից չեն։

Այս հոդվածում դուք կբացահայտեք, թե ինչպես ձեր սեփական համակարգիչը վերածել ձեր արհեստական ​​ինտելեկտի էկոհամակարգի միջուկի։ Մենք կանդրադառնանք ամենաշատ առաջարկվող ծրագրային ապահովման այլընտրանքներին, սարքավորումների, մոդելների և գործառույթների վերաբերյալ հիմնական նկատառումներին, ինչպես նաև տեղական արհեստական ​​բանականության հետ աշխատելու առավելություններին՝ թե՛ գաղտնիության, թե՛ անհատականացման առումով։ Բացի այդ, ես ձեզ կուղեկցեմ LLM մոդելների, հավելվածների և ռեսուրսների ընտրության, տեղադրման և դրանցից առավելագույնս օգտվելու գործընթացում, համեմատելով լավագույն ծրագրերը և առաջարկելով խորհուրդներ՝ ձեր արհեստական ​​բանականության փորձը սահուն և անվտանգ դարձնելու համար՝ անկախ նրանից, թե դա Windows, Mac, թե Linux օպերացիոն համակարգերում է։

Ինչո՞ւ օգտագործել ձեր համակարգիչը որպես տեղական արհեստական ​​բանականության կենտրոն։

Համակարգիչը որպես կենտրոնական արհեստական ​​ինտելեկտի հարթակ օգտագործելն առաջարկում է առավելություններ, որոնք դժվար է համեմատել ամպային ծառայությունների հետ։ Ամենակարևոր պատճառներից մեկը գաղտնիությունն է. երբ դուք շփվում եք չաթբոտների հետ ամպային միջավայրում, ձեր տվյալներն ու հարցումները պահվում են երրորդ կողմի սերվերներում, և, չնայած ընկերությունները ներդնում են անվտանգության միջոցառումներ, Միշտ կա արտահոսքի կամ չարաշահման վտանգ. Տեղեկատվության տեղական մշակումը նշանակում է, որ դուք ունեք ձեր տվյալների նկատմամբ լիակատար վերահսկողություն։ Ոչ ոք ուրիշ չունի ձեր հարցերին, պատասխաններին կամ ֆայլերին հասանելիություն։

Մեկ այլ մեծ առավելություն է ինտերնետ կապի կարիքների բացակայությունը։ Տեղական համակարգի միջոցով դուք կարող եք վայելել արհեստական ​​բանականության գործառույթները, նույնիսկ եթե ունեք անկայուն կապ, ապրում եք վատ ծածկույթ ունեցող տարածքում կամ պարզապես ցանկանում եք աշխատել անցանց՝ անվտանգության նկատառումներից ելնելով։ Բացի այդ, անհատականացումը շատ ավելի մեծ է. Դուք կարող եք ընտրել ձեզ ամենահարմար մոդելը, այն հարմարեցնել ձեր կարիքներին և ճշգրտել յուրաքանչյուր պարամետր, ինչը հազվադեպ է հնարավոր պահված ամպային ծառայությունների դեպքում։

Ոչ պակաս կարևոր է տնտեսական կողմը։ Չնայած ամպային ծառայությունները առաջարկում են անվճար տարբերակներ, առաջադեմ օգտագործումը ներառում է բաժանորդագրություններ, տոկենային վճարումներ կամ ռեսուրսների սպառում: Տեղականորեն աշխատելիս միակ սահմանափակումը ձեր սարքավորումների հզորությունն է։

Ի՞նչ է անհրաժեշտ սկսելու համար։ Սարքավորումներ և հիմնական պահանջներ

Այն ընդհանուր գաղափարը, որ արհեստական ​​բանականության հետ աշխատանքը պահանջում է առաջադեմ համակարգիչներ կամ գերհզոր գրաֆիկական պրոցեսորներ, այժմ անցյալում է։ Ընթացիկ լեզվական մոդելները օպտիմալացված են տնային համակարգիչների վրա աշխատելու համար, և դրանցից շատերը, հատկապես քվանտացվածները, կարող է աշխատել նույնիսկ առանց առանձին գրաֆիկական քարտի, օգտագործելով միայն CPU-ն։

Հարթ աշխատանքի և հաճելի փորձի համար խորհուրդ է տրվում ունենալ առնվազն 8-16 ԳԲ օպերատիվ հիշողություն։ և համեմատաբար ժամանակակից պրոցեսոր (վեցերորդ սերնդի Core i5 կամ i7, կամ Ryzen-ի համարժեքներ): Եթե ​​աշխատում եք ավելի մեծ մոդելների հետ կամ ցանկանում եք ավելի արագ աշխատանք, 4 ԳԲ VRAM-ով գրաֆիկական պրոցեսորը տարբերություն է ստեղծում, հատկապես պատկերների ստեղծման կամ շատ երկար տեքստային պատասխանների նման առաջադրանքների համար։

Mac-ում Apple M1 չիպերը և ավելի բարձր տարբերակները նույնպես աջակցում են տեղական LLM մոդելներին՝ շատ լավ արձագանքման ժամանակներով։ Ամփոփելով, եթե ձեր համակարգիչը կամ նոութբուքը յոթ տարեկանից պակաս է, հավանաբար կարող եք սկսել փորձարկումներ կատարել տեղական արհեստական ​​ինտելեկտով։

Ի՞նչ հավելվածներ և հարթակներ են անհրաժեշտ ձեր համակարգիչը տեղական արհեստական ​​ինտելեկտի կենտրոնի վերածելու համար։

Ձեր տեղական արհեստական ​​ինտելեկտի համակարգի սիրտը մասնագիտացված հավելվածներն են, որոնք կամուրջ են ստեղծում ձեր սարքավորումների և արհեստական ​​ինտելեկտի մոդելների միջև։ Առավել աչքի ընկնողներից իրենց օգտագործման հեշտության, հզորության և ճկունության համար հարկ է նշել.

• GPT4All: Ամենատարածված և բարեկամական տարբերակներից մեկը։ Այն թույլ է տալիս ներբեռնել և տեղադրել բազմաթիվ լեզվական մոդելներ, փոխազդել դրանց հետ և կարգավորել տարբեր պարամետրեր։ Այն տարբեր հարթակների համար է (Windows, Mac և Linux), և դրա տեղադրման գործընթացը նույնքան պարզ է, որքան ցանկացած այլ աշխատասեղանի ծրագիր։
• Ջան AI: Այն առանձնանում է իր ժամանակակից ինտերֆեյսով, զրույցների թեմաները կազմակերպելու հնարավորությամբ և տեղական և հեռակա մոդելների հետ համատեղելիությամբ (օրինակ՝ OpenAI-ից, API-ի միջոցով): Բացի այդ, այն առաջարկում է իր սեփական տեղական API-ը, որը նմանակում է OpenAI-ները, թույլ տալով Jan-ին ինտեգրվել որպես AI backend այլ հավելվածներում, որոնք պահանջում են ChatGPT API բանալի, բայց առանց ինտերնետին հույսը դնելու։
• Llama.cpp և LM Studio: Այս գործիքները թույլ են տալիս տեղական մակարդակով գործարկել LLM մոդելները և հասանելիություն ապահովել Hugging Face-ի և այլ պահոցների մոդելների համապարփակ գրադարանին։

Հիմնական ընթացակարգը սովորաբար հետևյալն է. Ներբեռնեք ընտրված հավելվածը դրա պաշտոնական կայքից, տեղադրեք այն ձեր համակարգում և դիտեք հասանելի ձևանմուշների պատկերասրահը (հաճախ կոչվում է «Հանգույց» կամ նմանատիպ): Այնտեղ կարող եք ընտրել ձեզ անհրաժեշտ մոդելը, ստուգել դրա չափը և հիշողության պահանջները, ինչպես նաև ներբեռնել ամեն ինչ հենց ինտերֆեյսից։

Լավագույն արհեստական ​​բանականության մոդելները տեղական տեղադրման համար

Բաց կոդով LLM մոդելների աշխարհը հսկայական է և անընդհատ աճում է։ OpenAI-ի կողմից առաջարկվողներից բացի (որոնք պահանջում են ամպային կապ), կան բազմաթիվ այլընտրանքներ, որոնք պատրաստ են աշխատել տեղական մակարդակով. Mistral 7B, TinyLlama Chat, Nous Hermes 2, Mixol 8X 7B և այլն: Այս մոդելներից շատերը քվանտացված են, ինչը նշանակում է, որ դրանք զբաղեցնում են ավելի քիչ տարածք և պահանջում են ավելի քիչ RAM՝ ճշգրտության փոքր քանակի զոհաբերության գնով։

Սկսնակների համար Խորհուրդ է տրվում օգտագործել փոքր-միջին մոդելներ, ինչպիսիք են Mistro Instruct 7B-ն կամ TinyLlama Chat-ը, քանի որ դրանք արագ լիցքաթափվում են և չեն ծանրաբեռնում համակարգը։ Եթե ​​ձեր համակարգիչն ունի ավելի շատ օպերատիվ հիշողություն և պահեստային տարածք, փորձեք ավելի ամբողջական մոդելներ, ինչպիսին է Mixol 8X 7B-ն, իմանալով, որ, օրինակ, միայն մոդելի համար կարող է պահանջվել մինչև 26 ԳԲ սկավառակի տարածք։

Գրեթե բոլոր ծրագրերում դուք կարող եք զտել մոդելները՝ հիմնվելով դրանց չափի, հիմնական լեզվի, լիցենզիաների կամ այն ​​առաջադրանքների տեսակի վրա, որոնց համար նրանք մարզվել են։ (տեքստի գրում, կոդի ստեղծում, թարգմանություն և այլն): Որքան ավելի կոնկրետ է մոդելի նպատակը, այնքան ավելի ճշգրիտ կլինեն արդյունքները։

Տեղական արհեստական ​​ինտելեկտի տեղադրման և օգտագործման քայլ առ քայլ գործընթացը

1. Ներբեռնեք և տեղադրեք հավելվածը. Մտեք ձեր նախընտրած գործիքի պաշտոնական կայք (օրինակ՝ GPT4All կամ Jan AI), ներբեռնեք ձեր օպերացիոն համակարգի համար նախատեսված տեղադրիչը և հետևեք էկրանին տրված քայլերին։ Windows-ում դա սովորաբար դասական կախարդ է։ Mac-ի վրա կարող է պահանջվել Rosetta-ի միացում M1/M2 պրոցեսորով համակարգիչների համար։ Linux-ում դուք կունենաք DEB կամ AppImage փաթեթներ։

2. Ուսումնասիրեք և ներբեռնեք արհեստական ​​բանականության մոդելները. Հավելվածը բացելուց հետո մուտք գործեք մոդելի հետազոտիչ (GPT4All-ում դա «Discovery Model Space»-ն է, Jan AI-ում՝ «The Hub»-ը): Զտեք, վերանայեք հնարավորությունները, և երբ գտնեք ձեզ ամենաշատը դուր եկող մոդելը, սեղմեք «Ներբեռնել»։ Շարունակելուց առաջ ձեզ կտեղեկացնեն չափի և պահանջների մասին։

3. Ընտրություն և առաջին կատարում. Շաբլոնը ներբեռնելուց հետո ընտրեք այն հավելվածում և սկսեք նոր զրույց կամ առաջադրանք։ Գրեք ձեր հարցումը կամ խնդրանքը և սպասեք պատասխանի։ Եթե ​​նկատում եք դանդաղ արձագանքներ, փորձեք օգտագործել ավելի թեթև մոդելներ կամ կարգավորեք կարգավորումները։

4. Կարգավորեք պարամետրերը և փորձարկեք. Ծրագրերի մեծ մասում դուք կարող եք փոփոխել տոկենների առավելագույն քանակը (ինչը սահմանափակում է պատասխանների տևողությունը), ինչպես նաև այլ մանրամասներ, ինչպիսիք են ջերմաստիճանը, top_p-ը և այլն: Փորձեք տարբեր կարգավորումներ, մինչև գտնեք արդյունքների արագության և որակի միջև ձեզ համար հարմար հավասարակշռությունը:

5. Կազմակերպեք և հարմարեցրեք թեմաները. Շատ ծրագրեր թույլ են տալիս ստեղծել զրույցի թեմաներ տարբեր անուններով և նպատակներով (տեսանյութերի գաղափարներ, ստեղծագործական գրելաձև, կոդավորման օգնություն և այլն), և կարող եք նաև պահպանել յուրաքանչյուր թեմայի համար հատուկ հրահանգներ, ինչը հեշտացնում է փոխգործակցությունը։

Ռեսուրսների կառավարում և կատարողականի օպտիմալացում

Տեղական արհեստական ​​բանականության հիմնական սահմանափակումը սարքավորումն է. Երբ մոդելը չափազանց մեծ է ձեր RAM-ի համար, կարող են առաջանալ դանդաղումներ, խափանումներ կամ նույնիսկ կատարման սխալներ։ Լավագույն հավելվածները նախնական նախազգուշացումներ են տալիս, երբ դուք ընտրում եք ձեր սարքի համար չափազանց ծանր մոդել։

Jan AI-ը գերազանցում է՝ ինտեգրելով էկրանին գտնվող ռեսուրսների մոնիտորի գործառույթը որը իրական ժամանակում ցույց է տալիս RAM-ի, CPU-ի սպառումը և մշակման արագությունը (տոկեններ վայրկյանում): Այսպիսով, դուք միշտ կարող եք իմանալ, թե արդյոք ձեր թիմը հասել է իր սահմանին, թե՞ դեռ կարող եք ավելին քաղել դրանից։

Եթե ​​ձեր համակարգիչը ունի Nvidia տեսաքարտ և ցանկանում եք օգտվել դրանից, Որոշ ծրագրեր թույլ են տալիս GPU արագացնել՝ տեղադրելով CUDA-ն։. Սա կարող է բազմապատկել արագությունը ծանր առաջադրանքներում։ GPU-ի աջակցությունը ճիշտ տեղադրելու և միացնելու համար միշտ դիմեք պաշտոնական փաստաթղթերին։

Քանակականացման առավելությունները՝ ավելի թեթև և արդյունավետ մոդելներ

Տեղական արհեստական ​​բանականության մասին խոսելիս տարածված տերմին է «քվանտացումը»։ Սա ենթադրում է մոդելի կշիռները պահելու ճշգրտության նվազեցում՝ դրանք ավելի քիչ բիթերով թվերի վերածելով, ինչը կտրուկ կրճատում է մոդելի սկավառակի և հիշողության չափը՝ նվազագույն ազդելով արձագանքի որակի վրա։

Ներբեռնվող մոդելների մեծ մասն արդեն իսկ գալիս է քվանտացված տարբեր տարբերակներով (4-բիթ, 8-բիթ և այլն): Եթե ​​ձեզ անհրաժեշտ մոդելը գոյություն ունի միայն «ամբողջական» տարբերակով, և ձեր թիմը չի կարող այն տեղափոխել, կան հավելվածներ, որոնք թույլ են տալիս ինքներդ քանակականացնել այն (օրինակ՝ GPTQ):

Այս տեխնիկան հնարավորություն է տալիս գործարկել հզոր մոդելներ հին կամ սահմանափակ ռեսուրսներով համակարգիչների վրա, միաժամանակ պահպանելով գաղտնիությունը և անկախությունը ամպից։

Լավագույն տեղական արհեստական ​​ինտելեկտի գործիքների համեմատություն. GPT4All ընդդեմ Հունվարի արհեստական ​​ինտելեկտի

Երկու ծրագրերն էլ առաջարկում են այն ամենը, ինչ անհրաժեշտ է ձեր համակարգիչը հզոր արհեստական ​​բանականության կենտրոնի վերածելու համար, բայց յուրաքանչյուրն ունի իր յուրահատուկ առանձնահատկությունները, որոնք կարող են օգնել ձեզ ընտրել մեկը կամ մյուսը՝ կախված ձեր նախասիրություններից։

• Օգտագործման պարզությունը ` GPT4All Այն շատ պարզ է, տեղադրումը արագ է, իսկ մոդելների ներբեռնումը կատարվում է հստակ և օգտագործողին հարմար ինտերֆեյսից։ Մյուս կողմից, Jan AI-ն առաջարկում է ավելի առաջադեմ զրույցի կազմակերպում և հրահանգներն ու աշխատանքային հոսքերը հետագայում հարմարեցնելու հնարավորություն։
• Համատեղելիություն ` Երկուսն էլ աջակցում են Windows-ին, Mac-ին և Linux-ին։ Jan AI-ը իր տեղական API-ի միջոցով ավելացնում է ուղղակի ինտեգրում այլ ծրագրերի հետ։
• Ռեսուրսների մոնիթորինգ. Jan AI-ն ապահովում է ռեսուրսների սպառման իրական ժամանակի վահանակ, որը օգտակար է սահմանափակումներ ունեցող թիմերի համար։ GPT4All-ը ներկայացնում է նվազագույն պահանջները և զգուշացնում է ձեզ, եթե ձեր սարքավորումը կարող է թերի լինել։
• Ընդարձակումներ: Jan-ը թույլ է տալիս տեղադրել ընդլայնումներ, որոնք ընդլայնում են ֆունկցիոնալությունը (օրինակ՝ վերոնշյալ ռեսուրսների մոնիտորը), որը բացակայում է GPT4All-ում։

Իմ խորհուրդն է փորձել երկուսն էլ և տեսնել, թե որն է ամենահարմարը ձեր աշխատանքային հոսքի և ձեր թիմի համար։

Խնդիրների լուծման և հաճախակի տրվող հարցերի լուծում

Արհեստական ​​բանականության մոդելներ ներբեռնելիս և տեղադրելիս հաճախ են լինում որոշ դժվարություններ, հատկապես մեծ ֆայլերի հետ գործ ունենալիս կամ թիմում սահմանափակ ռեսուրսներ ունենալիս։ Ամենատարածված սխալներից մեկը ներբեռնման ձախողումն է։ Այս դեպքերում լավ գաղափար է ստուգել ձեր կապը, ազատել սկավառակի տարածքը կամ վերագործարկել ծրագիրը։ Յուրաքանչյուր ծրագրի աջակցության համայնքները, ինչպես նաև դրանց պաշտոնական վիքիները կամ ֆորումները, հաճախ տրամադրում են քայլ առ քայլ լուծումներ։

Անվտանգության առումով, տեղական արհեստական ​​բանականության օգտագործումը շատ ավելի թափանցիկ է, քան հեռակա ծառայությունների հետ փոխազդելը։ Ձեր տվյալները և զրույցի պատմությունը մնում են ձեր սարքում և չեն օգտագործվում արտաքին ալգորիթմներ մարզելու համար։ Այնուամենայնիվ, որպես նախազգուշական միջոց, խորհուրդ է տրվում չկիսվել զգայուն տեղեկատվությամբ որևէ արհեստական ​​բանականության հավելվածում, նույնիսկ տեղական մակարդակով։

Ի՞նչ անել, եթե ձեզ ավելի շատ կատարողականություն է պետք։ Եթե ​​կարող եք ձեզ թույլ տալ թարմացնել օպերատիվ հիշողությունը (16 կամ 32 ԳԲ) կամ ձեռք բերել ժամանակակից գրաֆիկական պրոցեսոր, ավելի մեծ մոդելները կաշխատեն ավելի սահուն, և դուք կկարողանաք փորձարկել առաջադեմ գործառույթներ, ինչպիսիք են բազմամոդալ փոխազդեցությունը (տեքստ, պատկեր, ձայն): Հակառակ դեպքում, կան թեթև, բարձր օպտիմալացված մոդելներ, որոնք շատ լավ են կատարում առօրյա առաջադրանքների մեծ մասը։

Փորձը լիովին անցանց է. Մոդելները ներբեռնելուց հետո, հավելվածը կաշխատի առանց ինտերնետ կապի, առավելագույնի հասցնելով գաղտնիությունը և թույլ տալով ձեզ աշխատել ցանկացած հանգամանքներում։

Մշտապես զարգացող տեղական արհեստական ​​բանականության էկոհամակարգ

Համակարգիչների համար առկա տեղական արհեստական ​​ինտելեկտի լուծումները հասել են հասունության այնպիսի մակարդակի, որ դրանք այժմ դարձնում են ամպային ծառայությունների հուսալի այլընտրանք։ Մոդելների հսկայական բազմազանությունը, տեղադրման հեշտությունը և անհատականացման հնարավորությունները ժողովրդավարացնում են առաջատար արհեստական ​​բանականությանը հասանելիությունը։

Google-ի և Microsoft-ի նման ընկերությունները նույնպես իրենց ներդրումն են ունենում կենտրոնացված հարթակների միջոցով (օրինակ՝ AI Hub-ը կամ Copilot-ը Windows-ում), սակայն տեղական AI-ի իրական ներուժը կայանում է նրանում, որ Դուք կարող եք հարմարեցնել ձեր անհատական ​​կենտրոնը ձեր կոնկրետ աշխատանքային հոսքերին, գաղտնիությանը և նպատակներին։.

Գիտակցելով, որ դուք ակնհայտորեն արհեստական ​​ինտելեկտի օգտատեր եք, մենք առաջարկում ենք սկսել ավելին սովորել և օգտվել ChatGPT-ի և այլոց հնարավորություններից, քանի որ, օրինակ, այժմ կարող եք ունենալ գների համեմատություն ChatGPT-ում.

Այժմ ձեր տրամադրության տակ են գործիքները, ուղեցույցները և հնարքները, որոնք անհրաժեշտ են ձեր համակարգիչը արհեստական ​​բանականության իրական կենտրոնի վերածելու համար։ Նորարարությունը և ձեր տեղեկատվության նկատմամբ բացարձակ վերահսկողությունը հասցրեք մեկ այլ մակարդակի. Հուսով ենք, որ դուք հիմա գիտեք, թե ինչպես օգտագործել ձեր համակարգիչը որպես տեղական արհեստական ​​ինտելեկտի կենտրոն։