Bii o ṣe le Lo PC rẹ bi Agbegbe AI Agbegbe: Iṣeṣe ati Itọsọna Ifiwera

¿Bii o ṣe le lo PC rẹ bi ibudo AI agbegbe kan? Imọran atọwọda ko tun jẹ aaye iyasọtọ ti awọn ile-iṣẹ nla tabi awọn amoye awọsanma. Awọn olumulo siwaju ati siwaju sii n wa lati mu awọn solusan AI ṣiṣẹ taara lati awọn kọnputa ti ara ẹni fun awọn iṣẹ ṣiṣe ti o wa lati iran ọrọ si adaṣe adaṣe tabi awọn ilana imọ-ẹrọ, gbogbo pẹlu aṣiri ti o pọju ati laisi gbigbekele awọn olupin ita. Yi PC rẹ pada si ibudo AI agbegbe kan O jẹ otitọ ti ifarada ati pe o wa ni arọwọto ti o fẹrẹẹfẹ eyikeyi alara, alamọdaju tabi ọmọ ile-iwe, paapaa ti ohun elo rẹ kii ṣe ipo-ti-aworan.

Ninu nkan yii, iwọ yoo ṣe iwari bii o ṣe le yi kọnputa tirẹ pada si ipilẹ ti ilolupo ilolupo AI rẹ. A yoo wo awọn yiyan sọfitiwia ti a ṣeduro julọ, awọn ero pataki nipa ohun elo hardware, awọn awoṣe, ati awọn ẹya, pẹlu awọn anfani ti ṣiṣẹ pẹlu AI agbegbe ni awọn ofin ti ikọkọ ati isọdi-ara ẹni. Pẹlupẹlu, Emi yoo ṣe itọsọna fun ọ nipasẹ yiyan, fifi sori ẹrọ, ati gbigba pupọ julọ ninu awọn awoṣe LLM, awọn ohun elo, ati awọn orisun, ifiwera awọn eto ti o dara julọ ati fifunni awọn imọran lati jẹ ki iriri AI rẹ dan ati aabo, boya lori Windows, Mac, tabi Lainos.

Kini idi ti o lo PC rẹ bi ibudo AI agbegbe kan?

Lilo kọnputa rẹ bi ipilẹ AI aarin n funni ni awọn anfani ti o nira lati baramu pẹlu awọn iṣẹ awọsanma. Ọkan ninu awọn idi pataki julọ ni aṣiri: nigbati o ba nlo pẹlu chatbots ninu awọsanma, data rẹ ati awọn ibeere pari ti o fipamọ sori awọn olupin ẹnikẹta ati, botilẹjẹpe awọn ile-iṣẹ ṣe awọn igbese aabo, Nigbagbogbo ewu ti n jo tabi ilokulo. Ṣiṣe alaye ni agbegbe tumọ si pe o ni iṣakoso pipe lori data rẹ. Ko si ẹlomiran ti o ni aaye si awọn ibeere rẹ, awọn idahun, tabi awọn faili.

Anfani nla miiran ni isansa ti awọn ibeere asopọ Intanẹẹti. Pẹlu eto inu ile, o le gbadun awọn ẹya AI paapaa ti o ba ni asopọ aiduro, gbe ni agbegbe pẹlu agbegbe ti ko dara, tabi nirọrun fẹ ṣiṣẹ offline fun awọn idi aabo. Ni afikun, isọdi jẹ pupọ julọ: O le yan awoṣe ti o baamu fun ọ dara julọ, ṣe akanṣe rẹ si awọn iwulo rẹ, ati tunse gbogbo paramita — nkan ti o ṣọwọn ṣee ṣe pẹlu awọn iṣẹ awọsanma ti akolo.

Ko si pataki pataki ni abala ọrọ-aje. Botilẹjẹpe awọn iṣẹ awọsanma n funni ni awọn ẹya ọfẹ, lilo ilọsiwaju jẹ ṣiṣe alabapin, awọn sisanwo ami, tabi lilo awọn orisun. Nigbati o ba n ṣiṣẹ ni agbegbe, opin nikan ni agbara ohun elo rẹ.

Kini o nilo lati bẹrẹ? Hardware ati ipilẹ awọn ibeere

Imọran gbogbogbo ti ṣiṣẹ pẹlu AI nilo awọn kọnputa gige-eti tabi awọn GPU ti o lagbara ni bayi jẹ ohun ti o ti kọja. Awọn awoṣe ede lọwọlọwọ ti jẹ iṣapeye lati ṣiṣẹ lori awọn kọnputa ile, ati ọpọlọpọ ninu wọn, paapaa awọn ti a ṣe iwọn, le ṣiṣe ani lai a ifiṣootọ eya kaadi, lilo Sipiyu nikan.

Fun iṣẹ didan ati iriri idunnu, o gba ọ niyanju lati ni o kere ju 8-16 GB ti Ramu. ati ero isise igbalode ti o ni idiyele (Core i5 tabi i7 ti iran kẹfa siwaju, tabi awọn deede Ryzen). Ti o ba n ṣiṣẹ pẹlu awọn awoṣe nla tabi fẹ iṣẹ ṣiṣe yiyara, GPU kan pẹlu 4GB ti VRAM ṣe iyatọ, pataki fun awọn iṣẹ ṣiṣe bii iran aworan tabi awọn idahun ọrọ gigun pupọ.

Lori Mac, awọn eerun Apple M1 ati giga julọ tun ṣe atilẹyin awọn awoṣe LLM agbegbe pẹlu awọn akoko idahun to dara pupọ. Ni kukuru, ti PC tabi kọǹpútà alágbèéká rẹ kere ju ọdun meje lọ, o le bẹrẹ idanwo pẹlu AI agbegbe.

Awọn ohun elo ati awọn iru ẹrọ wo ni o nilo lati yi PC rẹ pada si ibudo AI agbegbe kan?

Ọkan ti eto AI agbegbe rẹ jẹ awọn ohun elo amọja ti o di aafo laarin ohun elo rẹ ati awọn awoṣe AI. Lara awọn ohun akiyesi julọ fun irọrun ti lilo wọn, agbara ati irọrun, o tọ lati darukọ:

• GPT4Gbogbo: Ọkan ninu awọn julọ gbajumo ati ore awọn aṣayan. O gba ọ laaye lati ṣe igbasilẹ ati fi ọpọlọpọ awọn awoṣe ede sori ẹrọ, ṣe ajọṣepọ pẹlu wọn, ati tunto awọn aye oriṣiriṣi. O jẹ pẹpẹ-agbelebu (Windows, Mac, ati Lainos) ati ilana fifi sori ẹrọ jẹ rọrun bi eyikeyi eto tabili tabili miiran.
• Jan AI: O duro jade fun wiwo ode oni, agbara lati ṣeto awọn okun ibaraẹnisọrọ, ati ibaramu rẹ pẹlu awọn awoṣe agbegbe ati latọna jijin (lati OpenAI, fun apẹẹrẹ, nipasẹ API). Ni afikun, o funni ni API agbegbe tirẹ ti o ṣe apẹẹrẹ OpenAI's, gbigba Jan laaye lati ṣepọ bi ẹhin AI sinu awọn ohun elo miiran ti o nilo bọtini API ChatGPT, ṣugbọn laisi gbigbekele Intanẹẹti.
• Llama.cpp ati LM Studio: Awọn irinṣẹ wọnyi gba ọ laaye lati ṣiṣe awọn awoṣe LLM ni agbegbe ati pese iraye si ile-ikawe okeerẹ ti awọn awoṣe lati Iwari Hugging ati awọn ibi ipamọ miiran.

Nigbagbogbo ilana ipilẹ jẹ bi atẹle: Ṣe igbasilẹ ohun elo ti o yan lati oju opo wẹẹbu osise rẹ, fi sii sori ẹrọ rẹ, ki o lọ kiri lori aworan ti awọn awoṣe ti o wa (eyiti a pe ni “Ipo naa” tabi iru). Nibẹ ni o le yan awoṣe ti o fẹ, ṣayẹwo iwọn rẹ ati awọn ibeere iranti, ati ṣe igbasilẹ ohun gbogbo lati inu wiwo funrararẹ.

Awọn awoṣe AI ti o ga julọ lati fi sori ẹrọ ni agbegbe

Aye ti awọn awoṣe LLM orisun ṣiṣi jẹ tiwa ati dagba nigbagbogbo. Yato si awọn ti a funni nipasẹ OpenAI (eyiti o nilo asopọ awọsanma), ọpọlọpọ awọn omiiran wa ti a pese sile lati ṣiṣẹ ni agbegbe: Mistral 7B, TinyLlama Chat, Nous Hermes 2, Mixol 8X 7B, laarin awọn miiran. Pupọ ninu awọn awoṣe wọnyi jẹ iwọn, eyiti o tumọ si pe wọn gba aaye ti o dinku ati nilo Ramu ti o dinku ni idiyele ti rubọ iye kekere ti deede.

Fun olubere Awọn awoṣe alabọde-kekere, gẹgẹbi Mistro Instruct 7B tabi TinyLlama Chat, ni a ṣe iṣeduro, bi wọn ṣe njade ni kiakia ati pe wọn ko ṣe apọju ẹrọ naa. Ti kọmputa rẹ ba ni Ramu diẹ sii ati aaye ipamọ, gbiyanju awọn awoṣe pipe diẹ sii bi Mixol 8X 7B, mọ pe, fun apẹẹrẹ, o le nilo to 26 GB ti aaye disk kan fun awoṣe naa.

Ni fere gbogbo awọn ohun elo o le ṣe àlẹmọ awọn awoṣe ti o da lori iwọn wọn, ede akọkọ, awọn iwe-aṣẹ tabi iru awọn iṣẹ ṣiṣe ti wọn ti gba ikẹkọ fun. (kikọ ọrọ, ipilẹṣẹ koodu, itumọ, ati bẹbẹ lọ). Awọn diẹ pato idi ti awoṣe, diẹ sii awọn esi ti o gba.

Ilana igbese-nipasẹ-igbesẹ fun fifi sori ẹrọ ati lilo AI agbegbe

1. Ṣe igbasilẹ ati fi ohun elo naa sori ẹrọ: Lọ si oju opo wẹẹbu osise ti ọpa ayanfẹ rẹ (fun apẹẹrẹ, GPT4All tabi Jan AI), ṣe igbasilẹ insitola fun ẹrọ iṣẹ rẹ, tẹle awọn igbesẹ loju iboju. Ni Windows, o jẹ maa n kan Ayebaye oluṣeto; Lori Mac, o le nilo mu Rosetta ṣiṣẹ fun awọn kọnputa pẹlu ero isise M1/M2; Lori Lainos, iwọ yoo ni DEB tabi awọn idii AppImage wa.

2. Ṣawari ati ṣe igbasilẹ awọn awoṣe AI: Ni kete ti o ṣii ohun elo naa, wọle si aṣawakiri awoṣe (ni GPT4Gbogbo rẹ jẹ “Alaaye Awoṣe Awari”, ni Jan AI, “Ile naa”). Àlẹmọ, atunwo awọn ẹya ara ẹrọ, ati nigbati o ba ri awoṣe ti o wù ọ julọ, tẹ "Download." Iwọ yoo gba alaye nipa iwọn ati awọn ibeere ṣaaju ki o to tẹsiwaju.

3. Aṣayan ati ipaniyan akọkọ: Ni kete ti awoṣe ba ti ṣe igbasilẹ, yan ninu ohun elo naa ki o bẹrẹ ibaraẹnisọrọ tuntun tabi iṣẹ-ṣiṣe. Kọ ibeere rẹ tabi beere ki o duro de esi naa. Ti o ba ṣe akiyesi awọn idahun ti o lọra, gbiyanju lilo awọn awoṣe fẹẹrẹfẹ tabi ṣatunṣe awọn eto.

4. Satunṣe paramita ati ṣàdánwò: Ninu ọpọlọpọ awọn eto o le ṣe atunṣe nọmba ti o pọju ti awọn ami-ami (eyiti o ṣe idiwọn ipari awọn idahun), bakanna bi awọn alaye miiran gẹgẹbi iwọn otutu, top_p, bbl Gbiyanju awọn eto oriṣiriṣi titi iwọ o fi ri iwontunwonsi laarin iyara ati didara awọn esi ti o ṣiṣẹ fun ọ.

5. Ṣeto ati ṣe akanṣe awọn okun: Ọpọlọpọ awọn eto gba ọ laaye lati ṣẹda awọn okun ibaraẹnisọrọ pẹlu awọn orukọ ati awọn idi oriṣiriṣi (awọn imọran fidio, kikọ ẹda, iranlọwọ pẹlu ifaminsi, bbl), ati pe o tun le ṣafipamọ awọn ilana aṣa fun okun kọọkan, eyiti o mu ibaraenisepo ṣiṣẹ.

Isakoso orisun ati iṣapeye iṣẹ

Ifilelẹ akọkọ ti AI agbegbe jẹ ohun elo: Nigbati awoṣe ba tobi ju fun Ramu rẹ, awọn idinku, awọn ipadanu, tabi paapaa awọn aṣiṣe ipaniyan le waye. Awọn ohun elo ti o dara julọ nfunni ni awọn ikilọ ilosiwaju nigbati o yan awoṣe ti o wuwo ju fun ẹrọ rẹ.

Jan AI bori nipasẹ iṣakojọpọ atẹle awọn orisun oju-iboju eyiti o fihan ọ ni akoko gidi agbara ti Ramu, Sipiyu ati iyara sisẹ (awọn ami fun iṣẹju keji). Ni ọna yii, o le mọ nigbagbogbo ti ẹgbẹ rẹ ba wa ni opin rẹ tabi ti o ba tun le fun pọ diẹ sii ninu rẹ.

Ti PC rẹ ba ni kaadi eya aworan Nvidia ati pe o fẹ lati lo anfani rẹ, Diẹ ninu awọn ohun elo ngbanilaaye isare GPU nipa fifi CUDA sori ẹrọ. Eyi le ṣe isodipupo iyara ni awọn iṣẹ ṣiṣe ti o wuwo. Nigbagbogbo tọka si iwe aṣẹ osise lati fi sori ẹrọ daradara ati mu atilẹyin GPU ṣiṣẹ.

Awọn anfani ti titobi: fẹẹrẹfẹ ati awọn awoṣe daradara siwaju sii

Ọrọ ti o wọpọ nigbati o ba sọrọ nipa AI agbegbe jẹ “iwọn iwọn.” Eyi pẹlu idinku deede ti titoju awọn iwọn awoṣe nipa yiyipada wọn sinu awọn nọmba pẹlu awọn iwọn diẹ, eyiti o dinku disiki awoṣe ati iwọn iranti ni pataki, pẹlu ipa kekere lori didara esi.

Pupọ julọ awọn awoṣe ti o ṣe igbasilẹ tẹlẹ ti wa ni iwọn ni awọn ẹya pupọ (4-bit, 8-bit, bbl). Ti awoṣe ti o fẹ nikan wa ni ẹya “kikun” ati pe ẹgbẹ rẹ ko le gbe, awọn ohun elo wa ti o gba ọ laaye lati ṣe iwọn rẹ funrararẹ (fun apẹẹrẹ, GPTQ).

Ọgbọn yii mu ki o ṣee ṣe lati ṣiṣe awọn alagbara awoṣe lori agbalagba tabi awọn oluşewadi-lopin PC, lakoko ti o n ṣetọju asiri ati ominira lati awọsanma.

Ifiwera awọn irinṣẹ AI agbegbe ti o dara julọ: GPT4All vs. Jan AI

Awọn ohun elo mejeeji nfunni ni ohun gbogbo ti o nilo lati yi PC rẹ pada si ibudo AI ti o lagbara, ṣugbọn ọkọọkan ni awọn ẹya alailẹgbẹ tirẹ ti o le ṣe iranlọwọ fun ọ lati yan ọkan tabi ekeji da lori awọn ayanfẹ rẹ.

• Irọrun lilo: GPT4Gbogbo O rọrun pupọ, fifi sori yarayara ati awọn awoṣe gbigba lati ayelujara ni a ṣe lati inu wiwo ati ore-olumulo. Jan AI, ni ida keji, nfunni ni eto ibaraẹnisọrọ to ti ni ilọsiwaju diẹ sii ati agbara lati ṣe akanṣe awọn ilana siwaju ati ṣiṣan iṣẹ.
• Ibamu: Mejeeji atilẹyin Windows, Mac ati Lainos. Jan AI ṣe afikun iṣọpọ taara pẹlu awọn ohun elo miiran nipasẹ API agbegbe rẹ.
• Abojuto awọn orisun: Jan AI n pese dasibodu akoko gidi ti agbara awọn orisun, wulo fun awọn ẹgbẹ pẹlu awọn inira. GPT4All ṣe ijabọ awọn ibeere to kere julọ ati kilọ fun ọ ti ohun elo rẹ ba le kuna.
• Àwọn àfikún: Jan gba ọ laaye lati fi sori ẹrọ awọn amugbooro ti o fa iṣẹ ṣiṣe (fun apẹẹrẹ, atẹle awọn orisun ti a mẹnuba), eyiti ko si ni GPT4All.

Iṣeduro mi ni lati gbiyanju mejeeji ki o wo iru eyi ti o baamu si iṣan-iṣẹ rẹ ati ẹgbẹ rẹ dara julọ.

Iṣaro iṣoro ati awọn ibeere nigbagbogbo beere

O wọpọ lati pade diẹ ninu awọn italaya nigba igbasilẹ ati fifi awọn awoṣe AI sori ẹrọ, ni pataki nigbati o ba n ba awọn faili nla tabi nini awọn orisun to lopin lori ẹgbẹ kan. Ọkan ninu awọn aṣiṣe ti o wọpọ julọ ni ikuna lati mu. Ni awọn iṣẹlẹ wọnyi, o jẹ imọran ti o dara lati ṣayẹwo asopọ rẹ, ko aaye disk kuro, tabi tun ohun elo naa bẹrẹ. Awọn agbegbe atilẹyin eto kọọkan, bakanna bi wikis osise wọn tabi awọn apejọ, nigbagbogbo pese awọn ojutu ni igbese-nipasẹ-igbesẹ.

Ni awọn ofin ti aabo, lilo AI agbegbe jẹ ṣiṣafihan pupọ diẹ sii ju ibaraenisepo pẹlu awọn iṣẹ latọna jijin. Awọn data rẹ ati itan-akọọlẹ ibaraẹnisọrọ wa lori ẹrọ rẹ ati pe wọn ko lo lati ṣe ikẹkọ awọn algoridimu ita. Bibẹẹkọ, gẹgẹbi iṣọra, o gba ọ niyanju lati ma pin alaye ifura ni eyikeyi ohun elo AI, paapaa ni agbegbe.

Kini ti o ba nilo iṣẹ ṣiṣe diẹ sii? Ti o ba le ni igbesoke Ramu (16 tabi 32 GB) tabi GPU ode oni, awọn awoṣe nla yoo ṣiṣẹ ni irọrun ati pe iwọ yoo ni anfani lati ṣe idanwo pẹlu awọn ẹya ilọsiwaju gẹgẹbi ibaraenisepo multimodal (ọrọ, aworan, ohun). Bibẹẹkọ, iwuwo fẹẹrẹ wa, awọn awoṣe iṣapeye giga ti o ṣe daradara pupọ ni awọn iṣẹ ṣiṣe lojoojumọ pupọ julọ.

Iriri naa jẹ aisinipo patapata: Ni kete ti awọn awoṣe ti ṣe igbasilẹ, ohun elo naa n ṣiṣẹ laisi asopọ Intanẹẹti, ti o pọ si aṣiri ati gbigba ọ laaye lati ṣiṣẹ ni eyikeyi ipo.

Eto ilolupo AI agbegbe ti o nwaye nigbagbogbo

Awọn solusan AI agbegbe lọwọlọwọ fun awọn PC ti de ipele ti idagbasoke ti o jẹ ki wọn jẹ yiyan ti o lagbara si awọn iṣẹ awọsanma. Ọpọlọpọ awọn awoṣe nla, irọrun fifi sori ẹrọ, ati awọn agbara isọdi jẹ iraye si ijọba tiwantiwa si oye itetisi atọwọda gige-eti.

Awọn ile-iṣẹ bii Google ati Microsoft tun n ṣe idasi apakan wọn nipasẹ awọn iru ẹrọ aarin (fun apẹẹrẹ AI Hub tabi Copilot lori Windows), ṣugbọn agbara gidi ti AI agbegbe wa ni otitọ pe O le ṣe deede ibudo aṣa rẹ si ṣiṣan iṣẹ rẹ pato, aṣiri, ati awọn ibi-afẹde..

Mọ pe o jẹ olumulo AI ti o han gbangba, a daba pe o bẹrẹ lati kọ ẹkọ paapaa diẹ sii ati lo anfani ti awọn agbara ti ChatGPT ati awọn miiran, nitori fun apẹẹrẹ, o le ni bayi lafiwe owo on ChatGPT.

Ni bayi o ni awọn irinṣẹ, awọn itọsọna ati awọn ẹtan pataki lati yi PC rẹ pada si ibudo itetisi atọwọda otitọ, Mu ĭdàsĭlẹ ati iṣakoso pipe lori alaye rẹ si ipele miiran. A nireti pe o mọ bayi bi o ṣe le lo PC rẹ bi ibudo AI agbegbe kan.