Jinsi ya Kutumia Kompyuta yako kama Kitovu cha AI cha Karibu: Mwongozo wa Kitendo na Ulinganishi

¿Jinsi ya kutumia PC yako kama kitovu cha AI cha ndani? Upelelezi wa Bandia sio tena kikoa cha kipekee cha mashirika makubwa au wataalam wa wingu. Watumiaji zaidi na zaidi wanatazamia kutumia suluhu za AI moja kwa moja kutoka kwa kompyuta zao za kibinafsi kwa kazi kuanzia uzalishaji wa maandishi hadi mchakato wa kiotomatiki wa ubunifu au kiufundi, wote wakiwa na faragha ya hali ya juu na bila kutegemea seva za nje. Badilisha Kompyuta yako kuwa kitovu cha AI cha karibu Ni ukweli wa bei nafuu na unaweza kufikiwa na karibu shabiki yeyote, mtaalamu au mwanafunzi, hata kama kifaa chako si cha kisasa.

Katika nakala hii, utagundua jinsi ya kubadilisha kompyuta yako mwenyewe kuwa msingi wa mfumo wako wa ikolojia wa AI. Tutaangalia njia mbadala za programu zinazopendekezwa zaidi, mambo muhimu ya kuzingatia kuhusu maunzi, miundo, na vipengele, pamoja na faida za kufanya kazi na AI ya ndani katika masuala ya faragha na ubinafsishaji. Zaidi ya hayo, nitakuongoza katika kuchagua, kusakinisha na kupata manufaa zaidi kutoka kwa miundo, programu na nyenzo za LLM, nikilinganisha programu bora zaidi na kutoa vidokezo vya kufanya matumizi yako ya AI kuwa laini na salama, iwe kwenye Windows, Mac au Linux.

Kwa nini utumie Kompyuta yako kama kitovu cha AI cha ndani?

Kutumia kompyuta yako kama jukwaa kuu la AI hutoa faida ambazo ni ngumu kulinganisha na huduma za wingu. Moja ya sababu muhimu zaidi ni faragha: unapoingiliana na chatbots kwenye wingu, data na maombi yako huishia kuhifadhiwa kwenye seva za watu wengine na, ingawa kampuni hutekeleza hatua za usalama, Daima kuna hatari ya uvujaji au matumizi mabaya. Kuchakata maelezo ndani ya nchi kunamaanisha kuwa una udhibiti kamili wa data yako. Hakuna mtu mwingine anayeweza kufikia maswali, majibu au faili zako.

Faida nyingine kubwa ni kutokuwepo kwa mahitaji ya uunganisho wa Mtandao. Ukiwa na mfumo wa ndani ya majengo, unaweza kufurahia vipengele vya AI hata kama una muunganisho usio imara, unaishi katika eneo lisilo na ufikiaji, au unataka tu kufanya kazi nje ya mtandao kwa sababu za usalama. Kwa kuongeza, ubinafsishaji ni mkubwa zaidi: Unaweza kuchagua muundo unaokufaa zaidi, uubadilishe kulingana na mahitaji yako, na urekebishe kila kigezo—jambo ambalo ni nadra kuwezekana kwa huduma za wingu za makopo.

Si chini ya muhimu ni nyanja ya kiuchumi. Ingawa huduma za wingu hutoa matoleo ya bila malipo, matumizi ya juu yanahusisha usajili, malipo ya tokeni au matumizi ya rasilimali. Unapofanya kazi ndani ya nchi, kikomo pekee ni uwezo wa maunzi yako.

Unahitaji nini ili kuanza? Vifaa na mahitaji ya msingi

Wazo la jumla kwamba kufanya kazi na AI kunahitaji kompyuta za kisasa au GPU zenye nguvu zaidi sasa ni jambo la zamani. Miundo ya sasa ya lugha imeboreshwa ili kuendeshwa kwenye kompyuta za nyumbani, na nyingi kati yake, haswa zile zilizokadiriwa, inaweza kukimbia hata bila kadi ya michoro iliyojitolea, kwa kutumia CPU pekee.

Kwa uendeshaji mzuri na uzoefu wa kupendeza, inashauriwa kuwa na angalau 8-16 GB ya RAM. na kichakataji cha kisasa kinachofaa (Core i5 au i7 ya kizazi cha sita na kuendelea, au Ryzen sawa). Ikiwa unafanya kazi na miundo mikubwa zaidi au unataka utendakazi wa haraka, GPU yenye 4GB ya VRAM hufanya tofauti, hasa kwa kazi kama vile kutengeneza picha au majibu ya maandishi marefu sana.

Kwenye Mac, chipsi za Apple M1 na za juu zaidi pia zinaauni miundo ya ndani ya LLM yenye nyakati nzuri za kujibu. Kwa kifupi, ikiwa Kompyuta yako au kompyuta ndogo ina umri wa chini ya miaka saba, unaweza kuanza kujaribu AI ya ndani.

Unahitaji programu na majukwaa gani ili kugeuza Kompyuta yako kuwa kitovu cha AI cha ndani?

Moyo wa mfumo wako wa ndani wa AI ni programu maalum ambazo huziba pengo kati ya maunzi yako na miundo ya AI. Miongoni mwa mashuhuri zaidi kwa urahisi wa matumizi, nguvu na kubadilika, inafaa kutaja:

• GPT4All: Moja ya chaguzi maarufu na za kirafiki. Inakuwezesha kupakua na kusakinisha mifano mingi ya lugha, kuingiliana nao, na kusanidi vigezo tofauti. Ni jukwaa la msalaba (Windows, Mac, na Linux) na mchakato wake wa usakinishaji ni rahisi kama programu nyingine yoyote ya eneo-kazi.
• Jan AI: Inasimama kwa kiolesura chake cha kisasa, uwezo wa kupanga nyuzi za mazungumzo, na utangamano wake na mifano ya ndani na ya mbali (kutoka OpenAI, kwa mfano, kupitia API). Zaidi ya hayo, inatoa API yake ya ndani inayoiga ya OpenAI, ikiruhusu Jan kuunganishwa kama sehemu ya nyuma ya AI katika programu zingine zinazohitaji kitufe cha API cha ChatGPT, lakini bila kutegemea Mtandao.
• Llama.cpp na LM Studio: Zana hizi hukuruhusu kuendesha miundo ya LLM ndani ya nchi na kutoa ufikiaji wa maktaba ya kina ya miundo kutoka Hugging Face na hazina zingine.

Utaratibu wa kimsingi ni kawaida kama ifuatavyo: Pakua programu iliyochaguliwa kutoka kwa tovuti yake rasmi, isakinishe kwenye mfumo wako, na uvinjari matunzio ya violezo vinavyopatikana (mara nyingi huitwa "Kitovu" au sawa). Huko unaweza kuchagua mfano unaotaka, angalia ukubwa wake na mahitaji ya kumbukumbu, na kupakua kila kitu kutoka kwa interface yenyewe.

Miundo ya juu ya AI ya kusakinisha ndani ya nchi

Ulimwengu wa mifano ya wazi ya LLM ni kubwa na inakua mara kwa mara. Kando na zile zinazotolewa na OpenAI (ambazo zinahitaji muunganisho wa wingu), kuna njia mbadala nyingi zilizotayarishwa kufanya kazi ndani ya nchi: Mistral 7B, TinyLlama Chat, Nous Hermes 2, Mixol 8X 7B, miongoni mwa zingine. Nyingi za mifano hii zimehesabiwa, ambayo ina maana kwamba huchukua nafasi ndogo na zinahitaji RAM kidogo kwa gharama ya kutoa kiasi kidogo cha usahihi.

Kwa wanaoanza Miundo ndogo ya wastani, kama vile Mistro Instruct 7B au TinyLlama Chat, inapendekezwa, kwani hutoka haraka na haipakii mfumo kupita kiasi. Ikiwa kompyuta yako ina RAM zaidi na nafasi ya kuhifadhi, jaribu mifano kamili zaidi kama Mixol 8X 7B, ukijua kwamba, kwa mfano, inaweza kuhitaji hadi GB 26 ya nafasi ya diski kwa ajili ya modeli pekee.

Takriban programu zote unaweza kuchuja miundo kulingana na saizi yao, lugha ya msingi, leseni au aina ya kazi ambazo wamefunzwa. (kuandika maandishi, kuunda msimbo, tafsiri, n.k.). Madhumuni maalum zaidi ya mfano, matokeo sahihi zaidi unayopata.

Mchakato wa hatua kwa hatua wa kusakinisha na kutumia AI ya ndani

1. Pakua na usakinishe programu: Nenda kwenye tovuti rasmi ya zana unayopendelea (k.m., GPT4All au Jan AI), pakua kisakinishi cha mfumo wako wa uendeshaji, na ufuate hatua za skrini. Katika Windows, kawaida ni mchawi wa kawaida; Kwenye Mac, huenda ikahitaji kuwezesha Rosetta kwa kompyuta zilizo na kichakataji cha M1/M2; Kwenye Linux, utakuwa na DEB au AppImage vifurushi vinavyopatikana.

2. Chunguza na upakue miundo ya AI: Mara tu unapofungua programu, fikia kichunguzi cha modeli (katika GPT4All ni "Nafasi ya Muundo wa Ugunduzi", katika Jan AI, "Kitovu"). Chuja, kagua vipengele, na unapopata muundo unaokuvutia zaidi, bofya "Pakua." Utaarifiwa kuhusu ukubwa na mahitaji kabla ya kuendelea.

3. Uteuzi na utekelezaji wa kwanza: Mara tu kiolezo kinapopakuliwa, kichague kwenye programu na uanze mazungumzo mapya au kazi. Andika swali au ombi lako na usubiri jibu. Ukiona majibu ya polepole, jaribu kutumia miundo nyepesi au urekebishe mipangilio.

4. Rekebisha vigezo na majaribio: Katika programu nyingi unaweza kurekebisha idadi ya juu zaidi ya tokeni (ambazo huzuia urefu wa majibu), pamoja na maelezo mengine kama vile halijoto, top_p, n.k. Jaribu mipangilio tofauti hadi upate usawa kati ya kasi na ubora wa matokeo ambayo yanafaa kwako.

5. Panga na ubinafsishe nyuzi: Programu nyingi hukuruhusu kuunda nyuzi za mazungumzo na majina na madhumuni tofauti (mawazo ya video, uandishi wa ubunifu, usaidizi wa kuweka msimbo, nk), na unaweza pia kuhifadhi maagizo maalum kwa kila uzi, ambayo huboresha mwingiliano.

Usimamizi wa rasilimali na uboreshaji wa utendaji

Kizuizi kikuu cha AI ya ndani ni vifaa: Wakati muundo ni mkubwa sana kwa RAM yako, kushuka kwa kasi, kuacha kufanya kazi, au hata hitilafu za utekelezaji zinaweza kutokea. Programu bora hutoa maonyo ya mapema unapochagua muundo ambao ni mzito sana kwa kifaa chako.

Jan AI inafaulu kwa kuunganisha kichunguzi cha rasilimali kwenye skrini ambayo inakuonyesha kwa wakati halisi utumiaji wa RAM, CPU na kasi ya usindikaji (ishara kwa sekunde). Kwa njia hii, unaweza kujua kila wakati ikiwa timu yako iko kwenye kikomo chake au ikiwa bado unaweza kubana zaidi kutoka kwayo.

Ikiwa PC yako ina kadi ya picha ya Nvidia na unataka kuchukua fursa hiyo, Baadhi ya programu huruhusu kuongeza kasi ya GPU kwa kusakinisha CUDA. Hii inaweza kuzidisha kasi katika kazi nzito. Daima rejelea hati rasmi ili kusakinisha vizuri na kuwasha usaidizi wa GPU.

Faida za quantification: mifano nyepesi na yenye ufanisi zaidi

Neno la kawaida wakati wa kuzungumza juu ya AI ya ndani ni "quantization." Hii inahusisha kupunguza usahihi wa kuhifadhi uzani wa modeli kwa kuzibadilisha kuwa nambari zilizo na biti chache, ambayo hupunguza sana diski ya muundo na saizi ya kumbukumbu, na athari ndogo kwenye ubora wa majibu.

Mifano nyingi zinazoweza kupakuliwa tayari zimehesabiwa katika matoleo mbalimbali (4-bit, 8-bit, nk). Ikiwa muundo unaotaka unapatikana tu katika toleo "kamili" na timu yako haiwezi kuihamisha, kuna programu zinazokuruhusu kuhesabu mwenyewe (kwa mfano, GPTQ).

Mbinu hii inafanya uwezekano wa kuendesha mifano yenye nguvu kwenye Kompyuta za zamani au zisizo na rasilimali, huku kikidumisha faragha na uhuru kutoka kwa wingu.

Ulinganisho wa zana bora za ndani za AI: GPT4All dhidi ya Jan AI

Programu zote mbili hutoa kila kitu unachohitaji ili kubadilisha Kompyuta yako kuwa kitovu chenye nguvu cha AI, lakini kila moja ina sifa zake za kipekee ambazo zinaweza kukusaidia kuchagua moja au nyingine kulingana na mapendeleo yako.

• Urahisi wa kutumia: GPT4All Ni rahisi sana, usakinishaji ni wa haraka na upakuaji wa mifano unafanywa kutoka kwa kiolesura wazi na cha kirafiki. Jan AI, kwa upande mwingine, inatoa shirika la juu zaidi la mazungumzo na uwezo wa kubinafsisha maagizo na mtiririko wa kazi.
• Utangamano: Zote mbili zinaunga mkono Windows, Mac na Linux. Jan AI inaongeza muunganisho wa moja kwa moja na programu zingine kupitia API yake ya ndani.
• Ufuatiliaji wa rasilimali: Jan AI hutoa dashibodi ya wakati halisi ya matumizi ya rasilimali, muhimu kwa timu zilizo na vikwazo. GPT4All inaripoti mahitaji ya chini zaidi na inakuonya ikiwa maunzi yako yanaweza kuwa pungufu.
• Viendelezi: Jan hukuruhusu kusakinisha viendelezi vinavyopanua utendakazi (kwa mfano, kifuatiliaji rasilimali kilichotajwa hapo juu), ambacho hakipo katika GPT4All.

Pendekezo langu ni kujaribu zote mbili na kuona ni ipi inayofaa zaidi mtiririko wako wa kazi na timu yako.

Utatuzi na Maswali Yanayoulizwa Mara kwa Mara

Ni kawaida kukutana na baadhi ya changamoto wakati wa kupakua na kusakinisha miundo ya AI, hasa unaposhughulikia faili kubwa au kuwa na rasilimali chache kwenye timu. Moja ya makosa ya kawaida ni kushindwa kuleta. Katika hali hizi, ni vyema kuangalia muunganisho wako, kufuta nafasi ya diski, au kuanzisha upya programu. Jumuiya za usaidizi za kila programu, pamoja na wiki au vikao vyao rasmi, mara nyingi hutoa masuluhisho ya hatua kwa hatua.

Kwa upande wa usalama, kutumia AI ya ndani ni wazi zaidi kuliko kuingiliana na huduma za mbali. Data yako na historia ya mazungumzo husalia kwenye kifaa chako na haitumiwi kufunza algoriti za nje. Walakini, kama tahadhari, inashauriwa kutoshiriki habari nyeti katika programu yoyote ya AI, hata ndani ya nchi.

Je, ikiwa unahitaji utendaji zaidi? Iwapo unaweza kumudu uboreshaji wa RAM (GB 16 au 32) au GPU ya kisasa, miundo mikubwa itaendeshwa kwa urahisi na utaweza kujaribu vipengele vya kina kama vile mwingiliano wa aina mbalimbali (maandishi, picha, sauti). Vinginevyo, kuna mifano nyepesi, iliyoboreshwa sana ambayo hufanya vizuri sana katika kazi nyingi za kila siku.

Uzoefu hauko mtandaoni kabisa: Mara tu mifano inapopakuliwa, programu hufanya kazi bila muunganisho wa Mtandao, kuongeza faragha na kukuruhusu kufanya kazi katika hali yoyote.

Mfumo wa ikolojia wa ndani wa AI unaobadilika kila mara

Suluhu za sasa za AI za Kompyuta kwa Kompyuta zimefikia kiwango cha ukomavu ambacho sasa kinazifanya kuwa mbadala thabiti kwa huduma za wingu. Aina kubwa za miundo, urahisi wa usakinishaji, na uwezo wa kubinafsisha unaleta kidemokrasia ufikiaji wa akili ya kisasa ya bandia.

Kampuni kama Google na Microsoft pia zinachangia sehemu yao kupitia majukwaa ya serikali kuu (k.m. AI Hub au Copilot kwenye Windows), lakini uwezo halisi wa AI ya ndani unatokana na ukweli kwamba. Unaweza kubadilisha kitovu chako maalum kulingana na utendakazi, faragha na malengo yako mahususi..

Kwa kujua kuwa wewe ni mtumiaji wa AI wazi, tunapendekeza kwamba uanze kujifunza zaidi na kuchukua fursa ya uwezo wa ChatGPT na wengine, kwani kwa mfano, sasa unaweza kuwa na kulinganisha bei kwenye ChatGPT.

Sasa unayo zana, miongozo na hila zinazohitajika ili kubadilisha Kompyuta yako kuwa kitovu cha kweli cha akili bandia, Kuchukua uvumbuzi na udhibiti kamili wa maelezo yako kwa kiwango kingine. Tunatumahi sasa unajua jinsi ya kutumia Kompyuta yako kama kitovu cha ndani cha AI.