Mokhoa oa ho sebelisa komporo ea hau joalo ka sebaka sa lehae sa AI: Tataiso e sebetsang le e bapisang

¿U ka sebelisa PC ea hau joang joalo ka setsi sa lehae sa AI? Bohlale ba maiketsetso ha e sa le sebaka se ikhethileng sa likhoebo tse kholo kapa litsebi tsa maru. Basebelisi ba ntseng ba eketseha ba ntse ba batla ho phahamisa litharollo tsa AI ka kotloloho ho tsoa ho likhomphutha tsa bona bakeng sa mesebetsi ho tloha ho tlhahiso ea mongolo ho isa lits'ebetsong tsa boqapi kapa tsa tekheniki, kaofela li na le boinotšing bo boholo ntle le ho itšetleha ka li-server tsa kantle. Fetolela komporo ea hau hore e be setsi sa lehae sa AI Ke ntho ea sebele e theko e tlaase 'me e ka fihlella hoo e batlang e le motho leha e le ofe ea chesehang, setsebi kapa seithuti, le haeba thepa ea hau e se ea morao-rao.

Sengoliloeng sena, u tla fumana mokhoa oa ho fetola komporo ea hau hore e be motheo oa AI ecosystem ea hau. Re tla sheba mekhoa e meng e khothaletsoang ka ho fetesisa ea software, lintlha tsa bohlokoa mabapi le lisebelisoa tsa thepa, mehlala le likarolo, hammoho le melemo ea ho sebetsa le AI ea lehae mabapi le boinotšing le boinotšing. Ho feta moo, ke tla u tataisa ha u khetha, ho kenya, le ho rua molemo ka ho fetisisa ho mefuta ea LLM, lisebelisoa le lisebelisoa, ho bapisa mananeo a molemo ka ho fetisisa le ho fana ka malebela a ho etsa hore phihlelo ea hau ea AI e be bonolo le e sireletsehileng, ebang ke Windows, Mac, kapa Linux.

Hobaneng u sebelisa PC ea hau joalo ka setsi sa lehae sa AI?

Ho sebelisa komporo ea hau joalo ka sethala sa AI se bohareng ho fana ka melemo eo ho leng thata ho e bapisa le lits'ebeletso tsa maru. E 'ngoe ea mabaka a bohlokoa ka ho fetisisa ke ho ba boinotšing: ha u sebelisana le li-chatbots marung, lintlha tsa hau le likopo li qetella li bolokiloe ho li-server tsa batho ba bang, le hoja lik'hamphani li sebelisa mehato ea ts'ireletso, Kamehla ho na le kotsi ea ho lutla kapa tšebeliso e mpe. Ho lokisa litaba sebakeng sa heno ho bolela hore o na le taolo e felletseng holim'a data ea hau. Ha ho motho e mong ea nang le monyetla oa ho fumana lipotso, likarabo, kapa lifaele tsa hau.

Molemo o mong o moholo ke ho ba sieo ha litlhoko tsa khokahano ea Marang-rang. Ka sistimi e teng, o ka natefeloa ke likarolo tsa AI leha o na le khokahano e sa tsitsang, o lula sebakeng se nang le tšireletso e mpe, kapa o batla feela ho sebetsa ntle le marang-rang ka mabaka a ts'ireletso. Ho feta moo, ho itloaetsa ho hoholo ho feta: U ka khetha mofuta o u loketseng hantle, oa o etsa ho latela litlhoko tsa hau, 'me u hlophise paramente e' ngoe le e 'ngoe - ntho e ke keng ea khoneha ka lits'ebeletso tsa leru tse ka makotikoting.

Ha ho sa bohlokoa hakaalo ke karolo ea moruo. Leha lits'ebeletso tsa maru li fana ka liphetolelo tsa mahala, ts'ebeliso e tsoetseng pele e kenyelletsa lipeeletso, litefo tsa token, kapa tšebeliso ea lisebelisoa. Ha u sebetsa sebakeng sa heno, moeli o le mong feela ke bokhoni ba hardware ea hau.

U hloka eng hore u qale? Hardware le litlhoko tsa mantlha

Khopolo e akaretsang ea hore ho sebetsa le AI ho hloka likhomphutha tse tsoetseng pele kapa li-GPU tse matla haholo joale ke ntho ea nako e fetileng. Mefuta ea hona joale ea lipuo e ntlafalitsoe hore e sebetse lik'homphieutheng tsa lapeng, 'me tse ngata tsa tsona, haholo-holo tse lekantsoeng, e ka sebetsa ntle le karete ea litšoantšo e inehetseng, o sebelisa CPU feela.

Bakeng sa ts'ebetso e boreleli le boiphihlelo bo monate, ho khothalletsoa ho ba le bonyane 8-16 GB ea RAM. le processor ea sejoale-joale e loketseng (Core i5 kapa i7 ea moloko oa botšelela ho ea pele, kapa tse lekanang le Ryzen). Haeba o sebetsa ka mefuta e meholoanyane kapa o batla ts'ebetso e potlakileng, GPU e nang le 4GB ea VRAM e etsa phapang, haholo mesebetsing e kang ho hlahisa litšoantšo kapa likarabo tse telele haholo tsa mongolo.

Ho Mac, li-chips tsa Apple M1 le tse holimo le tsona li tšehetsa mefuta ea lehae ea LLM ka linako tse ntle haholo tsa karabelo. Ka bokhutšoanyane, haeba PC kapa laptop ea hau e le ka tlase ho lilemo tse supileng, mohlomong u ka qala ho leka AI ea lehae.

Ke lisebelisoa life le li-platform tseo u li hlokang ho fetola komporo ea hau hore e be setsi sa lehae sa AI?

Pelo ea sistimi ea hau ea lehae ea AI ke lits'ebetso tse ikhethileng tse koalang lekhalo lipakeng tsa lisebelisoa tsa hau le mefuta ea AI. Har'a tse tsebahalang haholo bakeng sa boiketlo ba tsona ba tšebeliso, matla le ho feto-fetoha ha maemo, ho bohlokoa ho bolela:

• GPT4All: E 'ngoe ea likhetho tse tsebahalang haholo le tse nang le botsoalle. E u lumella ho khoasolla le ho kenya mefuta e mengata ea lipuo, ho sebelisana le eona, le ho hlophisa liparamente tse fapaneng. Ke sethala sa marang-rang (Windows, Mac, le Linux) mme ts'ebetso ea eona ea ho kenya e bonolo joalo ka lenaneo lefe kapa lefe la komporo.
• Jan AI: E hlahella bakeng sa sebopeho sa eona sa sejoale-joale, bokhoni ba ho hlophisa likhoele tsa moqoqo, le ho tsamaellana ha eona le mefuta ea lehae le e hole (ho tloha ho OpenAI, mohlala, ka API). Ho feta moo, e fana ka API ea eona ea lehae e etsisang OpenAI's, e lumellang Jan hore a kopanngoe joalo ka AI backend lits'ebetsong tse ling tse hlokang senotlolo sa ChatGPT API, empa ntle le ho itšetleha ka Marang-rang.
• Llama.cpp le LM Studio: Lisebelisoa tsena li u lumella ho tsamaisa mefuta ea LLM sebakeng sa heno le ho fana ka phihlello ea laeborari e felletseng ea mefuta e tsoang ho Hugging Face le lipolokelo tse ling.

Mokhoa oa mantlha hangata ke o latelang: Khoasolla sesebelisoa se khethiloeng webosaeteng ea sona ea semmuso, e kenye sistimi ea hau, 'me u shebe pokello ea litempele tse fumanehang (hangata li bitsoa "The Hub" kapa tse ling tse tšoanang). Ha u le moo u ka khetha mohlala oo u o batlang, hlahloba boholo ba oona le litlhoko tsa memori, 'me u khoasolle ntho e' ngoe le e 'ngoe ho tswa ho sebopeho ka boeona.

Mefuta e holimo ea AI ea ho kenya sebakeng sa heno

Lefatše la mefuta e bulehileng ea LLM le leholo ebile le ntse le hola. Ntle le tse fanoang ke OpenAI (e hlokang khokahano ea leru), ho na le mekhoa e mengata e lokiselitsoeng ho sebetsa sebakeng sa heno: Mistral 7B, TinyLlama Chat, Nous Hermes 2, Mixol 8X 7B, har'a tse ling. Tse ngata tsa mefuta ena li lekantsoe, ho bolelang hore li nka sebaka se senyenyane mme li hloka RAM e nyane ka litšenyehelo tsa ho tela palo e nyane ea ho nepahala.

Bakeng sa ba qalang Ho khothaletsoa mefuta e menyenyane ea mahareng, joalo ka Mistro Instruct 7B kapa TinyLlama Chat, kaha e tsoa kapele mme ha e imelle sistimi. Haeba komporo ea hau e na le RAM e ngata le sebaka sa polokelo, leka mefuta e mengata e feletseng joaloka Mixol 8X 7B, u tseba hore, ka mohlala, e ka hloka ho fihlela ho 26 GB ea sebaka sa disk bakeng sa mohlala feela.

Hoo e batlang e le lits'ebetsong tsohle u ka sefa mefuta ho latela boholo ba eona, puo ea mantlha, mangolo a tumello kapa mofuta oa mesebetsi eo ba e koetliselitsoeng. (ho ngola mongolo, tlhahiso ea khoutu, phetolelo, joalo-joalo). Ha morero oa mohlala o totobetse haholoanyane, o fumana liphetho tse nepahetseng haholoanyane.

Mokhoa oa mohato ka mohato oa ho kenya le ho sebelisa AI ea lehae

1. Khoasolla le ho kenya sesebelisoa: Eya webosaeteng ea semmuso ea sesebelisoa seo u se ratang (mohlala, GPT4All kapa Jan AI), khoasolla sesebelisoa sa sistimi ea hau ea ts'ebetso, 'me u latele mehato e skrineng. Ho Windows, hangata ke wizate ea khale; Ho Mac, ho ka hloka ho nolofalletsa Rosetta bakeng sa likhomphutha tse nang le processor ea M1/M2; Ho Linux, u tla ba le liphutheloana tsa DEB kapa AppImage tse fumanehang.

2. Hlahloba le ho khoasolla mefuta ea AI: Hang ha o bula sesebelisoa, kena ho mofuputsi oa mohlala (ho GPT4All ke "Discovery Model Space", ho Jan AI, "The Hub"). Sefa, hlahloba likarolo, 'me ha u fumana mofuta o u khahlang haholo, tobetsa "Khoasolla." U tla tsebisoa ka boholo le litlhoko pele u tsoela pele.

3. Khetho le ts'ebetso ea pele: Hang ha template e jarollotsoe, e khethe ho app ebe u qala moqoqo o mocha kapa mosebetsi. Ngola potso kapa kopo ea hau ebe u emela karabo. Haeba u bona likarabo tse liehang, leka ho sebelisa mefuta e bobebe kapa u fetole litlhophiso.

4. Fetola maemo le liteko: Mananeo a mangata o ka fetola palo e kholo ea li-tokens (tse fokotsang bolelele ba likarabo), hammoho le lintlha tse ling tse kang mocheso, top_p, joalo-joalo Leka litlhophiso tse fapaneng ho fihlela u fumana tekanyo pakeng tsa lebelo le boleng ba liphetho tse u sebeletsang.

5. Hlophisa 'me u iketsetse likhoele ka mokhoa o ikhethileng: Mananeo a mangata a u lumella ho etsa likhoele tsa moqoqo ka mabitso le merero e fapaneng (menahano ea video, mongolo oa boqapi, thuso ea ho kenya likhoutu, joalo-joalo), hape u ka boloka litaelo tsa tloaelo bakeng sa khoele ka 'ngoe, e tsamaisang tšebelisano.

Taolo ea lisebelisoa le ntlafatso ea ts'ebetso

Moeli o ka sehloohong oa AI ea lehae ke hardware: Ha mohlala o le moholo haholo bakeng sa RAM ea hau, ho ka fokotseha butle, ho oa, kapa liphoso tsa ts'ebetso. Lisebelisoa tse ntle ka ho fetisisa li fana ka litemoso esale pele ha u khetha mofuta o boima haholo bakeng sa sesebelisoa sa hau.

Jan AI e ipabola ka ho kopanya sehlahlobi sa lisebelisoa se skrineng e u bonts'ang ka nako ea 'nete ts'ebeliso ea RAM, CPU le lebelo la ts'ebetso (li-tokens motsotsoana). Ka tsela ena, o ka tseba kamehla hore na sehlopha sa hau se pheletsong ea sona kapa haeba o ntse o ka pepeta ho feta ho sona.

Haeba PC ea hau e na le karete ea litšoantšo ea Nvidia 'me u batla ho e sebelisa, Lisebelisoa tse ling li lumella GPU ho potlakisa ka ho kenya CUDA. Sena se ka atisa lebelo mesebetsing e boima. Kamehla sheba litokomane tsa molao ho kenya le ho nolofalletsa tšehetso ea GPU.

Melemo ea quantification: mehlala e bobebe le e sebetsang haholoanyane

Lentsoe le tloaelehileng ha u bua ka AI ea lehae ke "quantization." Sena se kenyelletsa ho fokotsa ho nepahala ha ho boloka boima ba mohlala ka ho li fetola linomoro tse nang le likotoana tse fokolang, tse fokotsang haholo disk ea mohlala le boholo ba mohopolo, ka tšusumetso e fokolang ho boleng ba karabo.

Mefuta e mengata e jarollotsoeng e se e fumaneha ka mefuta e fapaneng (4-bit, 8-bit, joalo-joalo). Haeba mohlala oo u o batlang o le teng feela ka "full" version 'me sehlopha sa hau se sa khone ho se tsamaisa, ho na le likopo tse u lumellang hore u itšepe (mohlala, GPTQ).

Mokhoa ona e etsa hore ho khonehe ho tsamaisa mehlala e matla ho li-PC tsa khale kapa tse nang le lisebelisoa tse fokolang, ha u ntse u boloka boinotšing le boipuso ho leru.

Papiso ea lisebelisoa tse molemo ka ho fetisisa tsa sebaka sa AI: GPT4All vs. Jan AI

Lisebelisoa tsena ka bobeli li fana ka ntho e 'ngoe le e' ngoe eo ue hlokang ho fetola PC ea hau hore e be setsi se matla sa AI, empa e 'ngoe le e' ngoe e na le likarolo tsa eona tse ikhethang tse ka u thusang ho khetha e 'ngoe kapa e' ngoe ho latela seo u se ratang.

• Ts'ebeliso habonolo: GPT4All Ho bonolo haholo, ho kenya ho potlakile mme ho khoasolla mehlala ho etsoa ho tsoa ho sebopeho se hlakileng le se bonolo sa mosebelisi. Jan AI, ka lehlakoreng le leng, e fana ka mokhatlo o tsoetseng pele oa puisano le bokhoni ba ho ntlafatsa litaelo le ts'ebetso ea mosebetsi.
• Tšebelisano: Ka bobeli li tšehetsa Windows, Mac le Linux. Jan AI e eketsa kopanyo e tobileng le lits'ebetso tse ling ka API ea lehae.
• Tlhokomelo ea lisebelisoa: Jan AI e fana ka dashboard ea nako ea sebele ea tšebeliso ea lisebelisoa, e molemo bakeng sa lihlopha tse nang le mathata. GPT4All e tlaleha litlhoko tse tlase 'me ea u lemosa haeba hardware ea hau e ka senyeha.
• Katoloso: Jan e u lumella ho kenya li-extensions tse eketsang ts'ebetso (mohlala, sesebelisoa sa lisebelisoa se boletsoeng ka holimo), se sieo ho GPT4All.

Khothatso ea ka ke ho leka ka bobeli le ho bona hore na ke efe e lumellanang hantle le ts'ebetso ea hau le sehlopha sa hau.

Ho rarolla mathata le FAQs

Ho tloaelehile ho tobana le mathata a mang ha u khoasolla le ho kenya mefuta ea AI, haholo ha u sebetsana le lifaele tse kholo kapa u na le lisebelisoa tse fokolang sehlopheng. E 'ngoe ea liphoso tse atileng haholo ke ho hloleha ho lata. Maemong ana, ke mohopolo o motle ho lekola khokahano ea hau, ho hlakola sebaka sa disk, kapa ho qala ts'ebeliso bocha. Baahi ba tšehetso ea lenaneo le leng le le leng, hammoho le li-wiki kapa liforamu tsa bona tsa semmuso, hangata ba fana ka tharollo ea mohato ka mohato.

Mabapi le ts'ireletso, ho sebelisa AI ea lehae ho hlakile haholo ho feta ho sebelisana le lits'ebeletso tse hole. Lintlha tsa hau le nalane ea lipuisano li ntse li le sesebelisoa sa hau, 'me ha li sebelisoe ho koetlisa mekhoa ea kantle. Leha ho le joalo, joalo ka boits'ireletso, ho khothaletsoa ho se arolelane tlhahisoleseling e bobebe ts'ebelisong efe kapa efe ea AI, esita le sebakeng sa heno.

Ho thoe'ng haeba u hloka ts'ebetso e eketsehileng? Haeba u ka khona ho lefella ntlafatso ea RAM (16 kapa 32 GB) kapa GPU ea sejoale-joale, mefuta e meholoanyane e tla tsamaea hantle 'me u tla khona ho etsa liteko ka likarolo tse tsoetseng pele joalo ka tšebelisano ea mefuta e mengata (mongolo, setšoantšo, lentsoe). Ho seng joalo, ho na le mefuta e bobebe, e ntlafalitsoeng haholo e sebetsang hantle haholo mesebetsing e mengata ea letsatsi le letsatsi.

Boiphihlelo ha bo na inthaneteng ka botlalo: Hang ha mefuta e se e jarollotsoe, sesebelisoa se sebetsa ntle le khokahano ea Marang-rang, se eketsa boinotšing le ho u lumella ho sebetsa maemong afe kapa afe.

Ecosystem ea lehae ea AI e lulang e fetoha

Litharollo tsa hajoale tsa AI tsa lehae bakeng sa li-PC li fihletse boemo ba kholo boo joale bo ba etsang sebaka se tiileng sa lits'ebeletso tsa maru. Mefuta e mengata e fapaneng ea mefuta, boiketlo ba ho kenya, le bokhoni ba ho e etsa ke demokrasi ea phihlello ea bohlale ba maiketsetso ba morao-rao.

Likhamphani tse kang Google le Microsoft le tsona li kenya letsoho karolong ea tsona ka li-platform tse bohareng (mohlala, AI Hub kapa Copilot ho Windows), empa bokhoni ba 'nete ba AI ea lehae bo holim'a taba ea hore. U ka hlophisa sebaka sa hau sa moetlo hore se lumellane le tšebetso ea hau e ikhethileng, boinotšing le lipheo..

Ka ho tseba hore u mosebelisi ea hlakileng oa AI, re fana ka maikutlo a hore u qale ho ithuta le ho feta le ho nka monyetla ka bokhoni ba ChatGPT le ba bang, kaha mohlala, joale u ka ba le papiso ea theko ho ChatGPT.

Hona joale o na le lisebelisoa, litataiso le maqheka a hlokahalang ho fetola PC ea hau hore e be setsi sa 'nete sa bohlale ba maiketsetso, Ho nka boqapi le taolo e felletseng holim'a tlhahisoleseling ea hau boemong bo bong. Re ts'epa hore joale o tseba ho sebelisa komporo ea hau joalo ka setsi sa lehae sa AI.