Me pehea te Whakamahi i to PC hei Roopu AI-a-rohe: He Aratohu Mahi me te Whakataurite

¿Me pehea te whakamahi i to PC hei hub AI rohe? Ko te matauranga hangai ehara i te rohe motuhake o nga umanga nui, tohunga kapua ranei. He maha nga kaiwhakamahi e whai ana ki te whakamahi tika i nga otinga AI mai i o raatau rorohiko whaiaro mo nga mahi mai i te whakaputa tuhinga ki te whakaaunoa i nga mahi auaha, hangarau ranei, katoa me te tino muna me te kore e whakawhirinaki ki nga kaitoro o waho. Hurihia to PC ki te tari AI rohe He mooni utu nui, ka taea e te hunga kaingākau, ngaio, tauira ranei, ahakoa ehara i te mea hou o to taputapu.

I roto i tenei tuhinga, ka kitea e koe me pehea te huri i to rorohiko ake ki te uho o to puunaha kaiao AI. Ka titiro tatou ki nga whiringa raupaparorohiko e tino taunakitia ana, nga whakaaro nui mo te taputapu, tauira, me nga ahuatanga, me nga painga o te mahi tahi me AI o te rohe mo te taha ki te taha ki te taha muna me te whakawhaiaro. I tua atu, ka arahi ahau i a koe ma te whiriwhiri, te whakauru, me te whai hua nui o nga tauira LLM, taupānga, me nga rauemi, te whakatairite i nga kaupapa pai me te tuku tohutohu kia pai ai to wheako AI me te haumaru, ahakoa kei runga Windows, Mac, Linux ranei.

He aha te take e whakamahi ai i to PC hei hub AI rohe?

Ma te whakamahi i to rorohiko hei papaahi AI matua ka tuku painga he uaua ki te whakarite ki nga ratonga kapua. Ko tetahi o nga take tino nui ko te noho muna: ka taunekeneke koe me nga chatbots i roto i te kapua, ka mutu o raraunga me o tono ka rongoa ki runga i nga kaitoro tuatoru, a, ahakoa ka whakatinanahia e nga kamupene nga tikanga haumaru, I nga wa katoa ka tupono te pakaru, te whakamahi kino ranei. Ko te tukatuka i nga korero i te rohe ko te tikanga kei a koe te mana katoa ki o raraunga. Kaore tetahi atu e whai waahi ki o patai, whakautu, konae ranei.

Ko tetahi atu painga nui ko te kore o nga whakaritenga hononga Ipurangi. Ma te punaha o-whare, ka taea e koe te pai ki nga ahuatanga AI ahakoa he hononga kore iu koe, noho ki tetahi waahi he iti te kapinga, ka hiahia noa koe ki te mahi tuimotu mo nga take haumaru. Hei taapiri, he nui ake te whakaritenga: Ka taea e koe te whiriwhiri i te tauira e pai ana ki a koe, te whakarite kia rite ki o hiahia, me te whakatika i nga tawhā katoa—he mea uaua ka taea ki nga ratonga kapua kēne.

Ko te mea nui ko te ahua ohaoha. Ahakoa ko nga ratonga kapua e tuku ana i nga putanga kore utu, ko te whakamahinga matatau ko nga ohaurunga, utu tohu, kohi rawa ranei. I te wa e mahi ana i te rohe, ko te tepe anake ko te kaha o to taputapu.

He aha e hiahia ana koe ki te timata? Nga taputapu me nga whakaritenga taketake

Ko te whakaaro nui ko te mahi tahi me AI e hiahia ana ki nga rorohiko hou, ki nga GPU tino kaha ranei, he mea o mua. Ko nga tauira reo o naianei kua arotauhia kia rere ki runga rorohiko o te kaainga, me te maha o era, ina koa ko nga mea ine, Ka taea te whakahaere ahakoa kaore he kaari whakairoiro i whakatapua, te whakamahi i te PTM anake.

Mo te mahi maeneene me te wheako ahuareka, ka tūtohu kia whai i te 8-16 GB o RAM. me te tukatuka tino hou (Core i5, i7 ranei o te tuaono o nga whakatipuranga, he rite tonu ki a Ryzen). Mena kei te mahi koe me nga tauira nui ake, kei te hiahia koe kia tere ake te mahi, he rerekee te GPU me te 4GB o te VRAM, ina koa mo nga mahi penei i te hanga whakaahua me nga whakautu kuputuhi tino roa.

I runga i te Mac, ka tautokohia e nga maramara Apple M1 me te teitei ake nga tauira LLM rohe me nga wa whakautu tino pai. I roto i te poto, ki te iti iho i te whitu tau to PC, pona ranei, ka taea pea e koe te timata ki te whakamatautau me te AI o te rohe.

He aha nga taupānga me nga papaaho e hiahia ana koe ki te huri i to PC ki te waahi AI o te rohe?

Ko te ngakau o to punaha AI o to rohe ko nga tono motuhake e hono ana i te waahi i waenga i o taputapu me nga tauira AI. I roto i nga mea tino rongonui mo te ngawari o te whakamahi, te kaha me te ngawari, he mea tika kia whakahuahia:

• GPT4Katoa: Ko tetahi o nga whiringa tino rongonui me te hoa. Ka taea e koe te tango me te whakauru i te tini o nga tauira reo, te taunekeneke ki a raatau, me te whirihora i nga taapiri rereke. He papa-whakawhitiwhiti (Windows, Mac, me Linux) a he ngawari noa iho te whakaurunga o tetahi atu kaupapa papamahi.
• Jan AI: E tu ana mo tana atanga hou, te kaha ki te whakarite i nga miro korero, me tona hototahi ki nga tauira o te rohe me te mamao (mai i OpenAI, hei tauira, ma te API). I tua atu, ka tukuna e ia tana ake API rohe e whai ana i te OpenAI's, ka taea e Jan te whakauru hei tuara AI ki etahi atu tono e hiahia ana ki te ChatGPT API, engari me te kore e whakawhirinaki ki te Ipurangi.
• Llama.cpp me LM Studio: Ma enei taputapu ka taea e koe te whakahaere tauira LLM i te rohe me te whai waahi ki te whare pukapuka matawhānui o nga tauira mai i a Hugging Face me etahi atu putunga.

Ko te tikanga taketake ko enei e whai ake nei: Tikiake i te taupānga kua tohua mai i tana paetukutuku mana, whakauruhia ki runga i to punaha, ka tirotirohia te taiwhanga o nga tauira e waatea ana (ka kiia ko "Te Hub" he rite ranei). I reira ka taea e koe te whiriwhiri i te tauira e hiahia ana koe, tirohia tona rahi me nga whakaritenga mahara, me te tango i nga mea katoa mai i te atanga ake.

Ko nga tauira AI tino pai ki te whakauru i te rohe

Ko te ao o nga tauira LLM puna tuwhera he whanui me te tipu haere tonu. I tua atu i nga mea e tukuna ana e OpenAI (e hiahia ana he hononga kapua), he maha nga huarahi kua rite ki te mahi i te rohe: Mistral 7B, TinyLlama Chat, Nous Hermes 2, Mixol 8X 7B, me etahi atu. Ko te nuinga o enei tauira he ine, ko te tikanga he iti ake te waahi me te iti ake o te RAM i te utu o te patu i te iti o te tika.

Mo te hunga timata Ko nga tauira iti-waenganui, penei i te Mistro Instruct 7B, TinyLlama Chat ranei, e taunakihia ana, na te mea ka tere te rere me te kore e taumaha te punaha. Mena he nui ake te RAM me te waahi rokiroki o to rorohiko, ngana ki nga tauira tino oti penei i a Mixol 8X 7B, me te mohio, hei tauira, ka taea e ia te 26 GB o te mokowā kōpae mo te tauira anake.

Tata ki nga tono katoa ka taea e koe te tarai tauira i runga i te rahi, te reo tuatahi, nga raihana me nga momo mahi kua whakangungua mo ratou. (te tuhi tuhinga, te whakaputa waehere, te whakamaoritanga, me etahi atu). Ko te tino kaupapa o te tauira, ka tika ake nga hua ka puta.

Ko te tukanga taahiraa-i-te-taahiraa mo te whakauru me te whakamahi AI rohe

1. Tikiake me te tāuta i te tono: Haere ki te paetukutuku mana o to taputapu pai (hei tauira, GPT4All, Jan AI ranei), tango i te kaiwhakauru mo to punaha whakahaere, ka whai i nga hikoi kei runga mata. I Windows, he ruānuku matarohia te tikanga; I runga i te Mac, ka hiahia pea kia taea a Rosetta mo nga rorohiko whai M1/M2 tukatuka; I runga i te Linux, kei a koe nga kohinga DEB, AppImage ranei e waatea ana.

2. Torotoro me te tango i nga tauira AI: Ina whakatuwhera koe i te tono, uru atu ki te tauira kaitoro (i te GPT4All ko te "Discovery Model Space", i Jan AI, "The Hub"). Tātarihia, arotakehia nga ahuatanga, a ka kitea e koe te tauira e pai ana ki a koe, pawhiria te "Tikiake." Ka whakamohiohia koe mo te rahi me nga whakaritenga i mua i te haere tonu.

3. Kōwhiringa me te mahi tuatahi: Kia tikiakehia te tauira, tohua i roto i te taupānga ka timata i te korerorero hou, i tetahi mahi ranei. Tuhia to patai, tono ranei ka tatari mo te whakautu. Mena ka kite koe i nga whakautu puhoi, ngana ki te whakamahi i nga tauira mama, whakatikahia ranei nga tautuhinga.

4. Whakaritea tawhā me te whakamātau: I roto i te nuinga o nga papatono ka taea e koe te whakarereke i te maha o nga tohu tohu (e whakaiti ana i te roa o nga whakautu), me etahi atu korero penei i te pāmahana, top_p, me etahi atu. Whakamātauria nga tautuhinga rereke kia kitea ra ano te toenga i waenga i te tere me te kounga o nga hua e pai ana mo koe.

5. Whakaritea me te whakarite miro: He maha nga kaupapa ka taea e koe te hanga miro korerorero me nga ingoa rereke me nga kaupapa (whakaaro ataata, tuhi auaha, awhina ki te tohu, me etahi atu), ka taea hoki e koe te tiaki i nga tohutohu ritenga mo ia miro, e whakamaarama ana i te taunekeneke.

Te whakahaere rauemi me te arotautanga mahi

Ko te herenga matua o AI rohe ko te taputapu: Ina he nui rawa te tauira mo to RAM, ka paheke, ka pakaru, ka puta nga hapa mahi. Ko nga taupānga pai ka tuku whakatupato i mua ina whiriwhiria e koe he tauira he taumaha rawa mo to taputapu.

He pai ake a Jan AI ma te whakauru i te kaitirotiro rauemi mata-mata e whakaatu ana ki a koe i te waa tonu te kai o te RAM, te PTM me te tere o te tukatuka (tohu mo ia hekona). Ma tenei ara, ka mohio tonu koe mena kei te rohe to roopu, mena ka taea tonu e koe te kopiri atu.

Mena he kaari whakairoiro Nvidia to PC ka hiahia koe ki te tango painga, Ko etahi tono ka taea te whakatere GPU ma te whakauru i te CUDA. Ka taea e tenei te whakanui i te tere i roto i nga mahi taumaha. Me titiro tonu ki nga tuhinga whai mana hei whakauru tika me te whakaahei i te tautoko GPU.

Nga painga o te ine: nga tauira maamaa me te pai ake

Ko te kupu noa i te wa e korero ana mo te AI o te rohe ko "te ine." Kei roto i tenei ko te whakaiti i te tika o te penapena i nga taumahatanga tauira ma te huri ki nga tau me te iti ake o nga paraka, ka tino whakaitihia te kōpae me te rahi maumahara o te tauira, me te iti o te paanga ki te kounga whakautu.

Ko te nuinga o nga tauira ka taea te tango kua tae mai ki te ine i roto i nga momo putanga (4-bit, 8-bit, etc.). Mena ko te tauira e hiahia ana koe kei roto noa i te putanga "katoa" ka kore e taea e to roopu te neke, kei reira nga tono ka taea e koe te tatau i a koe ano (hei tauira, GPTQ).

Tenei tikanga ka taea te whakahaere i nga tauira kaha ki runga i nga PC tawhito, whai rawa-iti ranei, me te pupuri i te noho motuhake me te noho motuhake mai i te kapua.

Te whakataurite o nga taputapu AI tino pai rawa atu: GPT4All me Jan AI

Ko nga tono e rua e tuku ana i nga mea katoa e hiahia ana koe ki te huri i to PC ki te umanga AI kaha, engari kei a ia ano nga ahuatanga motuhake hei awhina i a koe ki te whiriwhiri i tetahi, i tetahi atu i runga i o hiahia.

• He ngawari te whakamahi: GPT4Katoa He tino ngawari, he tere te whakaurunga me te tango tauira ka mahia mai i te atanga maamaa me te ratarata-kaiwhakamahi. Ko Jan AI, i tetahi atu taha, e tuku ana i nga whakahaere korerorero me te kaha ki te whakarite i nga tohutohu me nga rerenga mahi.
• Hototahi: Ka tautoko nga tokorua i a Windows, Mac me Linux. Ka taapiri a Jan AI ki te whakauru tika me etahi atu tono ma tana API rohe.
• Aroturuki rauemi: Ka whakaratohia e Jan AI he papatohu mo te kohi rauemi, he pai mo nga roopu whai here. Ka ripoatahia e GPT4All nga whakaritenga iti rawa me te whakatupato ia koe mena ka taka to taputapu.
• Toronga: Ka tuku a Jan ki a koe ki te whakauru i nga taapiri e whakaroa ana i te mahi (hei tauira, te aroturuki rauemi kua kiia ake nei), kaore i te GPT4All.

Ko taku kupu tohutohu me whakamatau i nga mea e rua ka kite ko wai te mea e pai ana ki to rerengamahi me to roopu.

Te otinga o nga raruraru me nga raruraru auau

He mea noa ka pa ki etahi wero i te wa e tango ana me te whakauru i nga tauira AI, ina koa i te wa e pa ana ki nga konae nui, he iti rawa nga rauemi i roto i te roopu. Ko tetahi o nga hapa tino noa ko te kore ki te tiki. I enei ahuatanga, he pai ki te tirotiro i to hononga, whakawātea mokowā kōpae, tīmata anō rānei i te tono. Ko nga hapori tautoko o ia kaupapa, tae atu ki o raatau wiki whaimana, huinga huinga ranei, he maha nga wa e whakarato ana i nga otinga taahiraa-i-taahiraa.

Mo te haumarutanga, ko te whakamahi AI o te rohe he maamaa ake i te taunekeneke me nga ratonga mamao. Ko o raraunga me o hitori korero kei runga i to taputapu kaore e whakamahia ki te whakangungu i nga algorithm o waho. Heoi, hei whakatupato, ka tūtohu kia kaua e tohatoha nga korero tairongo i roto i tetahi tono AI, ahakoa i te rohe.

Ka aha mena ka hiahia koe kia nui ake te mahi? Mena ka taea e koe te whakahou ake i te RAM (16, 32 GB ranei) he GPU hou ranei, ka pai ake te rere o nga tauira nui ake ka taea e koe te whakamatautau i nga ahuatanga matatau penei i te taunekeneke multimodal (kuputuhi, ahua, reo). Ki te kore, he maamaa, he tauira tino arotau e mahi pai ana i te nuinga o nga mahi o ia ra.

Kua tuimotu katoa te wheako: Ina tangohia nga tauira, ka mahi te tono me te kore hononga Ipurangi, te whakanui ake i te noho muna me te tuku i a koe ki te mahi i roto i nga ahuatanga katoa.

He puunaha rauwiringa kaiao AI e tipu haere tonu ana

Ko nga otinga AI o naianei o naianei mo nga PC kua eke ki te taumata o te pakeketanga naianei kua waiho hei tino rereke ki nga ratonga kapua. Ko te maha o nga momo tauira, te ngawari o te whakaurunga, me te kaha ki te whakarite i te manapori ki te uru atu ki nga mohiotanga hangarau.

Ko nga kamupene penei i a Google me Microsoft kei te koha ano i a raatau waahanga na roto i nga papaahoa matua (hei tauira, AI Hub, Copilot ranei i runga i te Matapihi), engari ko te tino kaha o AI o te rohe kei roto i te meka e Ka taea e koe te whakahāngai i to ruuma ritenga ki o rerengamahi motuhake, te muna, me nga whaainga..

Ma te mohio he tino kaiwhakamahi AI koe, e kii ana matou kia timata koe ki te ako ake me te whakamahi i nga kaha o ChatGPT me etahi atu, na te mea hei tauira, ka taea e koe inaianei utu whakataurite i runga i ChatGPT.

Inaianei kei a koe nga taputapu, nga kaiarahi me nga tinihanga e tika ana hei huri i to PC ki roto i te whare mohio pono, Te kawe i nga mahi auaha me te mana whakahaere i o korero ki tetahi atu taumata. Ko te tumanako ka mohio koe inaianei me pehea te whakamahi i to PC hei tari AI rohe.