Fa'afefea ona Fa'aoga lau PC e fai ma Local AI Hub: O se Ta'iala Fa'ata'ita'i ma Fa'atusatusa

¿E fa'afefea ona fa'aoga lau PC e fai ma fa'alapotopotoga AI? O le atamai fa'apitoa e le'o toe avea ma vaega fa'apitoa a fa'alapotopotoga tetele po'o tagata popoto ao. O loʻo faʻateleina tagata faʻaoga o loʻo vaʻavaʻai e faʻaoga saʻo AI fofo mai a latou komepiuta patino mo galuega e amata mai i tusitusiga i le faʻaogaina o mea faʻapitoa poʻo faiga faʻapitoa, o mea uma ma le maualuga o le le faalauaiteleina ma e aunoa ma le faʻalagolago i luga o sapalai fafo. Su'e lau PC ile nofoaga ole AI O se mea moni taugofie ma e mafai ona maua e toetoe lava o soʻo se tagata fiafia, faʻapolofesa poʻo tamaiti aʻoga, tusa lava pe le o ni mea faʻaonaponei au mea faigaluega.

I lenei tusiga, o le ae iloa ai pe faʻafefea ona suia lau lava komepiuta i totonu o lau faʻalapotopotoga faʻanatura AI. O le a matou vaʻavaʻai i isi polokalame faʻapitoa e sili ona fautuaina, iloiloga autu e uiga i meafaigaluega, faʻataʻitaʻiga, ma foliga, faʻatasi ai ma le lelei o le galulue faʻatasi ma AI i le lotoifale i tulaga uma e le gata i le le faalauaiteleina ma le faʻapitoa. Ma le isi, o le a ou taʻitaʻia oe e ala i le filifilia, faʻapipiʻi, ma le mauaina o mea sili mai LLM faʻataʻitaʻiga, polokalama, ma punaoa, faʻatusatusa polokalame sili ona lelei ma ofoina atu fautuaga e faʻalelei ma saogalemu ai lou poto masani AI, pe i luga o Windows, Mac, poʻo Linux.

Aisea e fa'aoga ai lau PC e fai ma fa'alapotopotoga AI?

O le fa'aogaina o lau komepiuta e fai ma fa'avae AI totonugalemu e ofoina atu tulaga lelei e faigata ona fa'afetaui ma auaunaga ao. O se tasi o mafuaʻaga sili ona taua o le le faalauaiteleina: pe a e fegalegaleai ma chatbots i le ao, o au faʻamatalaga ma au talosaga e faʻamutaina i luga o sapalai lona tolu ma, e ui lava o kamupani latou te faʻatinoina faiga saogalemu, E i ai lava le tulaga lamatia o le gase po'o le fa'aoga sese. O le fa'agaioiina o fa'amatalaga i le lotoifale o lona uiga o lo'o ia te oe le pule atoatoa i au fa'amatalaga. E leai se isi e mafai ona maua au fesili, tali, poʻo faila.

O le isi fa'amanuiaga sili o le leai lea o mana'oga feso'ota'iga Initaneti. Faatasi ai ma se faiga i luga ole fale, e mafai ona e fiafia i foliga AI e tusa lava pe i ai sau fesoʻotaʻiga le mautu, nofo i se nofoaga e le lelei le faʻapipiʻiina, pe naʻo le manaʻo e galue tuimotu mo mafuaaga saogalemu. E le gata i lea, o le faʻatulagaina e sili atu ona sili atu: E mafai ona e filifilia le fa'ata'ita'iga e sili ona fetaui ma oe, fa'avasega i ou mana'oga, ma fa'alelei vaega uma—o se mea e seasea mafai ona maua i 'au'aunaga tu'u apa.

E le itiiti ifo le taua o le itu tau tamaoaiga. E ui ina ofo mai e auaunaga ao ni fa'aliliuga e leai se totogi, o le fa'aoga maualuga e aofia ai le lesitalaina, totogi fa'ailoga, po'o le fa'aaogaina o punaoa. A galue i le lotoifale, na o le pau lava le tapulaa o le gafatia o au meafaigaluega.

O le a le mea e te manaʻomia e amata ai? Meafaigaluega ma mea e mana'omia

O le manatu lautele o le galulue faatasi ma AI e manaʻomia ai komepiuta faʻapitoa poʻo GPU sili ona malosi ua avea nei ma mea o le taimi ua tuanaʻi. O faʻataʻitaʻiga gagana o loʻo i ai nei ua sili ona lelei e taʻavale i luga o komipiuta a le fale, ma o le tele o latou, aemaise lava le faʻatusatusaina, e mafai ona tamoʻe e tusa lava pe leai se kata faʻamaonia faʻamaonia, fa'aaoga na'o le PPU.

Mo le faʻagaioiga malie ma se mea manaia, e fautuaina e iai le 8-16 GB o le RAM. ma se faiga fa'aonaponei fa'aonaponei (Core i5 po'o le i7 o le tupulaga lona ono i luma, po'o Ryzen tutusa). Afai o loʻo e galue i faʻataʻitaʻiga tetele pe manaʻo e sili atu le faʻatinoga, o le GPU ma le 4GB o le VRAM e faia se eseesega, aemaise lava mo galuega e pei o le faʻatupuina o ata poʻo ni tali umi tele.

I luga o Mac, Apple M1 meataalo ma maualuga e lagolagoina foʻi faʻataʻitaʻiga LLM faʻapitonuʻu ma taimi lelei tali. I se faapuupuuga, afai o lau PC poʻo lau komepiuta e itiiti ifo i le fitu tausaga le matua, atonu e mafai ona e amata faʻataʻitaʻi ma AI i le lotoifale.

O a polokalame ma faʻavae e te manaʻomia e liliu ai lau PC i totonu ole AI faʻapitonuʻu?

O le fatu o lau faiga fa'apitonu'u AI o talosaga fa'apitoa e fa'afeso'ota'i le va i le va o au meafaigaluega ma ata AI. Faatasi ai ma mea sili ona lauiloa mo le faigofie o le faʻaogaina, malosi ma le fetuutuunai, e taua le taʻua:

• GPT4Auma: O se tasi o filifiliga sili ona lauiloa ma faauo. E mafai ai e oe ona sii mai ma faʻapipiʻi le tele o faʻataʻitaʻiga gagana, fegalegaleai ma i latou, ma faʻapipiʻi laina eseese. O lo'o fa'alavalava (Windows, Mac, ma Linux) ma o lona fa'apipi'iina e faigofie e pei o so'o se isi lava polokalama o le komepiuta.
• Jan AI: E tulaga ese mo lona atinaʻe faʻaonaponei, le mafai ona faʻatulagaina filo o talanoaga, ma lona fetaui lelei ma faʻataʻitaʻiga faʻapitonuʻu ma mamao (mai OpenAI, mo se faʻataʻitaʻiga, e ala i le API). E le gata i lea, e ofoina atu lana lava API faʻapitonuʻu e faʻataʻitaʻia OpenAI's, faʻatagaina Jan e tuʻufaʻatasia e avea ma AI backend i isi talosaga e manaʻomia ai le ChatGPT API ki, ae aunoa ma le faʻalagolago i luga ole Initaneti.
• Llama.cpp ma le LM Studio: O mea faigaluega nei e fa'atagaina oe e fa'ata'ita'iina fa'ata'ita'iga LLM i totonu o le atunu'u ma tu'uina atu le avanoa i se faletusi atoatoa o fa'ata'ita'iga mai le Hugging Face ma isi fale teu oloa.

O le faiga faavae e masani lava e faapea: Sii mai le app filifilia mai lana 'upega tafaʻilagi aloaia, faʻapipiʻi i luga o lau masini, ma suʻesuʻe le faʻailoga o faʻataʻitaʻiga avanoa (e masani ona taʻua o le "The Hub" pe tutusa). O iina e mafai ona e filifilia le faʻataʻitaʻiga e te manaʻo ai, siaki lona tele ma manaʻoga manaʻomia, ma download mea uma mai le atinaʻe lava ia.

Fa'ata'ita'iga AI pito i luga e fa'apipi'i i le lotoifale

O le lalolagi o faʻataʻitaʻiga LLM tatala avanoa e lautele ma faʻaauau pea ona faʻatupulaia. E ese mai i latou na ofoina mai e OpenAI (lea e manaʻomia ai se fesoʻotaʻiga ao), e tele isi mea e saunia e galue ai i le lotoifale: Mistral 7B, TinyLlama Chat, Nous Hermes 2, Mixol 8X 7B, ma isi. O le tele o nei faʻataʻitaʻiga e faʻatatauina, o lona uiga latou te faʻaitiitia le avanoa ma e manaʻomia le itiiti ifo o le RAM i le tau o le ositaulagaina o se vaega itiiti o le saʻo.

Mo tagata amata O faʻataʻitaʻiga laʻititi, e pei o le Mistro Instruct 7B poʻo le TinyLlama Chat, e fautuaina, aua latou te vave alu ma e le ova le faʻaogaina o le polokalama. Afai e tele atu le RAM ma le avanoa e teu ai lau komepiuta, taumafai atili faʻataʻitaʻiga atoatoa e pei o Mixol 8X 7B, ma le iloa o lena, mo se faʻataʻitaʻiga, e mafai ona manaʻomia e oʻo atu i le 26 GB o avanoa vaʻa mo naʻo le faʻataʻitaʻiga.

Toeitiiti lava o talosaga uma e mafai ona e fa'amama fa'ata'ita'iga e fa'atatau i lo latou tele, gagana muamua, laisene po'o le ituaiga o galuega na a'oa'oina ai. (tusitusiga tusitusiga, fa'atupu tulafono, fa'aliliuga, ma isi). O le sili atu o le faʻamoemoega o le faʻataʻitaʻiga, o le sili atu ona saʻo o taunuuga e te maua.

Le faʻagasologa o lea laasaga mo le faʻapipiʻiina ma le faʻaogaina o le AI i le lotoifale

1. Tikia ma fa'apipi'i le talosaga: Alu i luga o le upega tafaʻilagi aloaia o lau mea faigaluega e sili ona e fiafia i ai (faʻataʻitaʻiga, GPT4All poʻo Jan AI), download le faʻapipiʻi mo lau faiga faʻaogaina, ma mulimuli i luga o le lau. I totonu o Windows, e masani lava o se taulaiga masani; I le Mac, atonu e mana'omia le fa'aagaoioia o Rosetta mo komepiuta e iai le M1/M2; I luga o Linux, o le ae maua DEB poʻo AppImage afifi avanoa.

2. Saili ma la'u mai ata AI: O le taimi lava e te tatalaina ai le talosaga, faʻaoga le suʻesuʻega faʻataʻitaʻiga (i le GPT4All o le "Discovery Model Space", i Jan AI, "The Hub"). Filifili, toe iloilo foliga, ma a e mauaina le faʻataʻitaʻiga e sili ona e fiafia i ai, kiliki "Download." O le a logoina oe i le tele ma mea e manaʻomia aʻo leʻi faʻaauau.

3. Filifiliga ma le faatinoga muamua: O le taimi lava e sii mai ai le mamanu, filifili i totonu o le app ma amata se talanoaga fou poʻo se galuega. Tusi lau fesili po'o lau talosaga ma fa'atali mo le tali. Afai e te matauina tali lemu, taumafai e faʻaoga faʻataʻitaʻiga mama pe fetuutuunai tulaga.

4. Fetuuna'i ta'otoga ma fa'ata'ita'iga: I le tele o polokalame e mafai ona e suia le numera maualuga o faʻailoga (lea e faʻatapulaʻaina ai le umi o tali), faʻapea foʻi ma isi faʻamatalaga e pei o le vevela, top_p, ma isi. Faʻataʻitaʻi tulaga eseese seia e mauaina le paleni i le va o le saoasaoa ma le lelei o taunuuga e aoga mo oe.

5. Fa'atulaga ma fa'avasega filo: O le tele o polokalame e mafai ai ona e fatuina ni filo o talanoaga ma igoa ma faamoemoega eseese (manatu vitio, tusiga fatuga, fesoasoani i le coding, ma isi), ma e mafai foi ona e teuina faʻatonuga masani mo filo taʻitasi, lea e faʻafaigofie ai fegalegaleaiga.

Puleaina o puna'oa ma le fa'atinoina o galuega

Ole tapula'a autu ole AI ile lotoifale ole meafaigaluega: A tele tele le faʻataʻitaʻiga mo lau RAM, faʻagesegese, faʻalavelave, poʻo ni faʻalavelave faʻataunuʻu e ono tupu. O polokalame sili ona lelei e ofoina atu lapataiga muamua pe a e filifilia se faʻataʻitaʻiga e mamafa tele mo lau masini.

E sili atu Jan AI e ala i le tuʻufaʻatasia o se mataʻituina punaoa i luga ole lau lea e faʻaalia ai oe i le taimi moni le faʻaaogaina o le RAM, PPU ma le saoasaoa o gaioiga (faʻailoga i le sekone). I lenei auala, e mafai ona e iloa i taimi uma pe o lau 'au o loʻo i ai i lona tapulaʻa pe afai e mafai lava ona e faʻamalosi atili mai ai.

Afai o lau PC o loʻo i ai se kata ata Nvidia ma e te manaʻo e faʻaaogaina, O nisi tusi talosaga e mafai ai ona faʻavave le GPU e ala i le faʻapipiʻiina o le CUDA. E mafai e lenei mea ona faʻateleina le saoasaoa i galuega mamafa. Vaʻai i taimi uma i faʻamaumauga aloaia e faʻapipiʻi lelei ma mafai ai le lagolago GPU.

Tulaga lelei o faʻatusatusaga: faʻataʻitaʻiga mama ma sili atu ona lelei

O se faaupuga masani pe a talanoa e uiga i AI i le lotoifale o le "quantization." E a'afia ai le fa'aitiitia o le sa'o o le teuina o fua fa'ata'ita'i e ala i le fa'aliliuina i ni numera e fa'aitiiti fasi pa'u, lea e fa'aitiitia ai le tisiki a le fa'ata'ita'iga ma le lapo'a manatua, fa'atasi ai ma sina a'afiaga i le lelei o tali.

O le tele o fa'ata'ita'iga e mafai ona siiina mai ua fa'afuainumeraina i fa'aliliuga eseese (4-bit, 8-bit, etc.). Afai o le faʻataʻitaʻiga e te manaʻo ai o loʻo i ai i se "atoa" version ma e le mafai e lau 'au ona faʻagaoioia, o loʻo i ai talosaga e faʻatagaina oe e faʻatatauina oe lava ia (mo se faʻataʻitaʻiga, GPTQ).

Lenei metotia e mafai ai ona fa'ata'ita'i fa'ata'ita'iga malolosi i luga o PC tuai po'o fa'atapula'a puna'oa, a o tausia le le faalauaiteleina ma le tutoatasi mai le ao.

Fa'atusatusaga o meafaigaluega fa'apitonu'u AI sili ona lelei: GPT4All vs Jan AI

O talosaga uma e lua e ofoina atu mea uma e te manaʻomia e suia ai lau PC i se AI faʻamalosi malosi, ae e tofu lava ma ona uiga faʻapitoa e mafai ona fesoasoani ia te oe e filifili se tasi poʻo le isi e faʻatatau i ou manaʻoga.

• Faʻaaogaina: GPT4All E faigofie tele, faʻapipiʻi vave ma faʻapipiʻi faʻataʻitaʻiga e faia mai se faʻaoga manino ma faʻaoga. O Jan AI, i le isi itu, e ofoina atu faʻalapotopotoga faʻatalanoaga sili atu ma le mafai ona faʻavasega atili faʻatonuga ma galuega.
• Fesoʻotaʻiga: E lagolagoina uma Windows, Mac ma Linux. Ua faaopoopo e Jan AI le tuʻufaʻatasia tuusaʻo ma isi talosaga e ala i lona API faʻapitonuʻu.
• Mataituina o punaoa: Jan AI o lo'o tu'uina atu se lisi fa'apitoa mo le fa'aaogaina o punaoa, aoga mo 'au e iai fa'alavelave. E lipotia e le GPT4All mea e manaʻomia ma lapataia oe pe a faʻaletonu au meafaigaluega.
• Faaopoopoga: E fa'atagaina oe e Jan e fa'apipi'i fa'aopoopoga e fa'alautele ai le fa'atinoga (mo se fa'ata'ita'iga, le mata'ituina o punaoa ua ta'ua muamua), e le o iai i le GPT4All.

O la'u fautuaga o le taumafai lea e lua ma va'ai po'o fea e fetaui lelei ma lau fa'agasolo galuega ma lau 'au.

Fa'afitauli ma FAQs

E masani ona feagai ma nisi o luʻitau pe a download ma faʻapipiʻi AI faʻataʻitaʻiga, aemaise lava pe a feagai ma faila tetele poʻo le faʻatapulaʻaina o punaoa i se 'au. O se tasi o fa'alavelave masani o le le maua mai. I nei tulaga, o se manatu lelei le siakiina o lau fesoʻotaʻiga, faʻamama le avanoa o le disk, pe toe amata le talosaga. O nu'u lagolago a polokalame ta'itasi, fa'atasi ai ma a latou wikis po'o fa'asalalauga, e masani ona tu'uina atu i lea laasaga ma lea laasaga fofo.

I tulaga o le saogalemu, o le faʻaaogaina o le AI i le lotoifale e sili atu le manino nai lo le fegalegaleai ma auaunaga mamao. O au faʻamatalaga ma tala faʻasolopito o loʻo tumau pea i luga o lau masini ma e le faʻaaogaina e toleni ai algorithms fafo. Ae ui i lea, o se puipuiga, e fautuaina e aua le faʻasoa faʻamatalaga maaleale i soʻo se talosaga AI, e oʻo lava i le lotoifale.

Ae fa'apefea pe a e mana'omia nisi fa'atinoga? Afai e mafai ona e gafatia le faʻaleleia o le RAM (16 poʻo le 32 GB) poʻo se GPU faʻaonaponei, o faʻataʻitaʻiga tetele o le a sologa lelei ma o le a mafai ona e faʻataʻitaʻiina foliga faʻapitoa e pei o fegalegaleaiga multimodal (tusitusiga, ata, leo). A leai, o lo'o iai ni fa'ata'ita'iga mama, fa'asili ona lelei e fa'atino lelei i le tele o galuega i aso uma.

O le poto masani e leai se initaneti: O le taimi lava e sii mai ai faʻataʻitaʻiga, e galue le talosaga e aunoa ma se Initaneti, faʻateleina le le faalauaiteleina ma faʻatagaina oe e galue i soʻo se tulaga.

Ose fa'alapotopotoga fa'apitonu'u AI fa'atupuina pea

O fofo AI i le taimi nei mo PC ua o'o i le maualuga o le matua lea ua avea nei ma sui mautu i auaunaga ao. O le tele o ituaiga faʻataʻitaʻiga, faigofie o le faʻapipiʻiina, ma agavaʻa faʻapitoa o loʻo faʻatemokalasi ai le avanoa i le atamai faʻapitoa.

Kamupani e pei o Google ma Microsoft o loʻo tuʻuina atu foi a latou vaega e ala i faʻasalalauga faʻapitoa (eg AI Hub poʻo Copilot i luga o Windows), ae o le gafatia moni o le AI i le lotoifale o loʻo taoto i le mea moni e faapea. E mafai ona e fa'afetaui lau 'aganu'u aganu'u i au galuega fa'apitoa, fa'alilolilo, ma sini..

I le iloaina o oe o se tagata faʻaoga manino AI, matou te fautua atu e amata ona e aʻoaʻoina atili ma faʻaoga lelei le gafatia o ChatGPT ma isi, talu ai mo se faʻataʻitaʻiga, e mafai nei ona e maua se fa'atusatusaga tau ile ChatGPT.

O lea ua ia te oe meafaigaluega, taʻiala ma togafiti e manaʻomia e suia ai lau PC i se faʻaoga moni faʻapitoa, Avea mea fou ma le pulea atoatoa o au faʻamatalaga i se isi tulaga. Matou te faʻamoemoe ua e iloa nei le faʻaogaina o lau PC e fai ma faʻaoga AI i le lotoifale.