Hvernig á að nota tölvuna þína sem staðbundna gervigreindarmiðstöð: Hagnýt og samanburðarleiðbeiningar

¿Hvernig á að nota tölvuna þína sem staðbundna gervigreindarmiðstöð? Gervigreind er ekki lengur eingöngu vettvangur stórfyrirtækja eða skýjasérfræðinga. Fleiri og fleiri notendur leita að því að nýta sér gervigreindarlausnir beint úr einkatölvum sínum fyrir verkefni allt frá textagerð til sjálfvirkni skapandi eða tæknilegra ferla, allt með hámarks friðhelgi og án þess að reiða sig á utanaðkomandi netþjóna. Breyttu tölvunni þinni í staðbundna gervigreindarmiðstöð Þetta er hagkvæmur veruleiki og innan seilingar fyrir nánast alla áhugamenn, fagfólk eða nemendur, jafnvel þótt búnaðurinn sé ekki fullkomnustu tækni.

Í þessari grein munt þú uppgötva hvernig þú getur breytt þinni eigin tölvu í kjarna gervigreindar vistkerfisins. Við munum skoða ráðlagða hugbúnaðarvalkosti, lykilatriði varðandi vélbúnað, gerðir og eiginleika, ásamt kostum þess að vinna með staðbundna gervigreind bæði hvað varðar friðhelgi einkalífs og persónustillingar. Auk þess mun ég leiðbeina þér í gegnum val, uppsetningu og hámarksnýtingu á LLM líkönum, forritum og úrræðum, bera saman bestu forritin og bjóða upp á ráð til að gera gervigreindarupplifun þína þægilega og örugga, hvort sem er á Windows, Mac eða Linux.

Af hverju að nota tölvuna þína sem staðbundna gervigreindarmiðstöð?

Að nota tölvuna þína sem miðlægan gervigreindarvettvang býður upp á kosti sem erfitt er að jafna við skýjaþjónustur. Ein mikilvægasta ástæðan er friðhelgi einkalífsins: þegar þú hefur samskipti við spjallþjóna í skýinu enda gögnin þín og beiðnir geymdar á netþjónum þriðja aðila og þó fyrirtæki geri öryggisráðstafanir, Það er alltaf hætta á leka eða misnotkun. Með því að vinna úr upplýsingum á staðnum hefur þú fulla stjórn á gögnunum þínum. Enginn annar hefur aðgang að spurningum þínum, svörum eða skrám.

Annar mikill kostur er að ekki eru gerðar kröfur um nettengingu. Með kerfi á staðnum geturðu notið góðs af gervigreindareiginleikum jafnvel þótt þú sért með óstöðuga tengingu, búir á svæði með lélega þjónustu eða viljir einfaldlega vinna án nettengingar af öryggisástæðum. Að auki er sérstillingarmöguleikarnir miklu meiri: Þú getur valið þá gerð sem hentar þér best, sérsniðið hana að þínum þörfum og fínstillt alla færibreytur – eitthvað sem er sjaldan mögulegt með niðursoðnum skýjaþjónustum.

Ekki er síður mikilvægur efnahagslegi þátturinn. Þó að skýjaþjónustur bjóði upp á ókeypis útgáfur felur í sér ítarlegri notkun áskriftir, greiðslur með táknum eða auðlindanotkun. Þegar unnið er á staðnum eru einu takmörkin afkastageta vélbúnaðarins.

Hvað þarftu til að byrja? Vélbúnaður og grunnkröfur

Sú almenna hugmynd að vinna með gervigreind krefst nýjustu tölva eða afar öflugra skjákorta er nú liðin tíð. Núverandi tungumálamódel hafa verið fínstillt til að keyra á heimilistölvum, og mörg þeirra, sérstaklega þau skammtafræðilegu, getur keyrt jafnvel án sérstaks skjákorts, með því að nota aðeins örgjörvann.

Til að tryggja greiðan rekstur og ánægjulega upplifun er mælt með að minnsta kosti 8-16 GB af vinnsluminni. og tiltölulega nútímalegur örgjörvi (Core i5 eða i7 af sjöttu kynslóð og síðar, eða Ryzen jafngildir). Ef þú ert að vinna með stærri gerðir eða vilt hraðari afköst, þá skiptir GPU með 4GB af VRAM máli, sérstaklega fyrir verkefni eins og myndagerð eða mjög löng textasvör.

Á Mac styðja Apple M1 örgjörvar og nýrri einnig staðbundnar LLM gerðir með mjög góðum svörunartíma. Í stuttu máli, ef tölvan þín eða fartölvan er yngri en sjö ára, geturðu líklega byrjað að gera tilraunir með staðbundna gervigreind.

Hvaða öpp og palla þarftu til að breyta tölvunni þinni í staðbundna gervigreindarmiðstöð?

Hjarta gervigreindarkerfisins á staðnum eru sérhæfðu forritin sem brúa bilið á milli vélbúnaðarins og gervigreindarlíkana. Meðal þeirra sem eru þekktastir fyrir auðvelda notkun, kraft og sveigjanleika er vert að nefna:

• GPT4Allt: Einn vinsælasti og vinalegasti kosturinn. Það gerir þér kleift að hlaða niður og setja upp fjölda tungumálamódela, hafa samskipti við þau og stilla mismunandi breytur. Það virkar á mörgum kerfum (Windows, Mac og Linux) og uppsetningarferlið er jafn einfalt og önnur skrifborðsforrit.
• Jan AI: Það sker sig úr fyrir nútímalegt viðmót, getu til að skipuleggja samtalsþræði og eindrægni við bæði staðbundnar og fjarlægar gerðir (frá OpenAI, til dæmis í gegnum API). Að auki býður það upp á sitt eigið staðbundna API sem hermir eftir OpenAI, sem gerir það kleift að samþætta Jan sem gervigreindarbakgrunn í önnur forrit sem krefjast ChatGPT API-lykils, en án þess að reiða sig á internetið.
• Llama.cpp og LM Studio: Þessi verkfæri gera þér kleift að keyra LLM líkön á staðnum og veita aðgang að umfangsmiklu bókasafni af líkönum frá Hugging Face og öðrum gagnasöfnum.

Grunnferlið er venjulega sem hér segir: Sæktu valið forrit af opinberu vefsíðu þess, settu það upp á kerfið þitt og skoðaðu myndasafnið af tiltækum sniðmátum (oft kallað „The Hub“ eða svipað). Þar getur þú valið þá gerð sem þú vilt, athugað stærð hennar og minniskröfur og hlaðið öllu niður af viðmótinu sjálfu.

Vinsælustu gervigreindarlíkönin til að setja upp á staðnum

Heimur opinna LLM-líkana er gríðarstór og stöðugt vaxandi. Fyrir utan þá sem OpenAI býður upp á (sem krefjast skýjatengingar) eru margir aðrir valkostir sem eru tilbúnir til að virka á staðnum: Mistral 7B, TinyLlama Chat, Nous Hermes 2, Mixol 8X 7B, svo eitthvað sé nefnt. Margar af þessum líkönum eru magnbundnar, sem þýðir að þær taka minna pláss og þurfa minna vinnsluminni á kostnað þess að fórna lítilli nákvæmni.

Fyrir byrjendur Mælt er með litlum til meðalstórum gerðum, eins og Mistro Instruct 7B eða TinyLlama Chat, þar sem þær tæmast hratt og ofhlaða ekki kerfið. Ef tölvan þín hefur meira vinnsluminni og geymslurými, prófaðu fullkomnari gerðir eins og Mixol 8X 7B, vitandi að það getur til dæmis þurft allt að 26 GB af diskplássi bara fyrir gerðina.

Í næstum öllum forritum er hægt að sía líkön eftir stærð þeirra, aðalmáli, leyfum eða þeirri tegund verkefna sem þau hafa verið þjálfuð fyrir. (textagerð, kóðagerð, þýðing o.s.frv.). Því nákvæmari sem tilgangur líkansins er, því nákvæmari verða niðurstöðurnar.

Skref-fyrir-skref ferlið við að setja upp og nota staðbundna gervigreind

1. Sæktu og settu upp forritið: Farðu á opinberu vefsíðuna fyrir valinn tól (t.d. GPT4All eða Jan AI), sæktu uppsetningarforritið fyrir stýrikerfið þitt og fylgdu skrefunum á skjánum. Í Windows er það venjulega klassískur töframaður; Á Mac gæti þurft að virkja Rosetta fyrir tölvur með M1/M2 örgjörva; Á Linux verða DEB eða AppImage pakkar tiltækir.

2. Skoðaðu og sæktu gervigreindarlíkön: Þegar þú opnar forritið skaltu opna líkanakönnunarforritið (í GPT4All er það „Discovery Model Space“, í Jan AI „The Hub“). Síaðu, skoðaðu eiginleika og þegar þú finnur þá gerð sem höfðar mest til þín smellirðu á „Sækja“. Þér verður tilkynnt um stærð og kröfur áður en haldið er áfram.

3. Val og fyrsta framkvæmd: Þegar sniðmátið hefur verið sótt skaltu velja það í appinu og hefja nýtt samtal eða verkefni. Skrifaðu fyrirspurn þína eða beiðni og bíddu eftir svari. Ef þú tekur eftir hægum viðbrögðum skaltu prófa að nota léttari gerðir eða aðlaga stillingar.

4. Stilltu breytur og gerðu tilraun: Í flestum forritum er hægt að breyta hámarksfjölda tákna (sem takmarkar lengd svara), sem og öðrum upplýsingum eins og hitastigi, top_p o.s.frv. Prófaðu mismunandi stillingar þar til þú finnur jafnvægið milli hraða og gæða niðurstaðna sem hentar þér.

5. Skipuleggja og aðlaga þræði: Mörg forrit leyfa þér að búa til umræðuþræði með mismunandi nöfnum og tilgangi (myndbandshugmyndir, skapandi skrif, hjálp við forritun o.s.frv.) og þú getur líka vistað sérsniðnar leiðbeiningar fyrir hvern þráð, sem einföldar samskipti.

Auðlindastjórnun og afkastahagræðing

Helsta takmörkun staðbundinnar gervigreindar er vélbúnaður: Þegar líkanið er of stórt fyrir vinnsluminni geta komið upp hægagangur, hrun eða jafnvel keyrsluvillur. Bestu öppin bjóða upp á viðvaranir fyrirfram þegar þú velur gerð sem er of þung fyrir tækið þitt.

Jan gervigreindin skarar fram úr með því að samþætta skjá fyrir auðlindir sem sýnir þér í rauntíma notkun vinnsluminni, örgjörva og vinnsluhraða (tákn á sekúndu). Þannig geturðu alltaf vitað hvort liðið þitt er komið á mörk sín eða hvort þú getir enn kreist meira út úr því.

Ef tölvan þín er með Nvidia skjákort og þú vilt nýta þér það, Sum forrit leyfa GPU hröðun með því að setja upp CUDA. Þetta getur margfaldað hraðann í þungum verkefnum. Vísaðu alltaf til opinberra skjölunar til að setja upp og virkja GPU-stuðning rétt.

Kostir magngreiningar: léttari og skilvirkari líkön

Algengt hugtak þegar talað er um staðbundna gervigreind er „kvantvæðing“. Þetta felur í sér að draga úr nákvæmni geymslu líkanþyngda með því að breyta þeim í tölur með færri bitum, sem dregur verulega úr stærð disks og minnis líkansins, með lágmarksáhrifum á gæði svara.

Flest niðurhalanleg líkön eru þegar komin í kvantificeruð form í ýmsum útgáfum (4-bita, 8-bita, o.s.frv.). Ef líkanið sem þú vilt aðeins er til í „fullri“ útgáfu og teymið þitt getur ekki fært það, þá eru til forrit sem leyfa þér að magngreina það sjálfur (til dæmis GPTQ).

Þessi tækni gerir það mögulegt að keyra öflugar gerðir á eldri eða auðlindalausum tölvum, en um leið viðhalda friðhelgi einkalífs og sjálfstæði frá skýinu.

Samanburður á bestu staðbundnu gervigreindartólunum: GPT4All vs. Jan AI

Báðar forritin bjóða upp á allt sem þú þarft til að breyta tölvunni þinni í öfluga gervigreindarmiðstöð, en hvor um sig hefur sína einstöku eiginleika sem geta hjálpað þér að velja annan hvorn eftir þínum óskum.

• Auðvelt í notkun: GPT4Allt Það er mjög einfalt, uppsetningin er fljótleg og niðurhal líkana fer fram í gegnum skýrt og notendavænt viðmót. Jan AI, hins vegar, býður upp á háþróaðri skipulagningu samræðna og möguleikann á að aðlaga leiðbeiningar og vinnuflæði frekar.
• Samhæfni: Báðir styðja Windows, Mac og Linux. Jan AI bætir við beinni samþættingu við önnur forrit í gegnum staðbundið API.
• Eftirlit með auðlindum: Jan AI býður upp á rauntíma mælaborð yfir auðlindanotkun, gagnlegt fyrir teymi með takmarkanir. GPT4All greinir frá lágmarkskröfunum og varar þig við ef vélbúnaðurinn þinn gæti ekki uppfyllt kröfurnar.
• Viðbætur: Jan gerir þér kleift að setja upp viðbætur sem auka virknina (til dæmis áðurnefndan auðlindaeftirlit), sem er ekki til staðar í GPT4All.

Ég mæli með að þú prófir bæði og sjáir hver hentar best vinnuflæði þínu og teyminu þínu.

Úrræðaleit og algengar spurningar

Það er algengt að lenda í nokkrum áskorunum þegar verið er að hlaða niður og setja upp gervigreindarlíkön, sérstaklega þegar unnið er með stórar skrár eða þegar teymi hefur takmarkaða auðlindir. Eitt algengasta mistökin eru að ekki tekst að sækja. Í þessum tilfellum er góð hugmynd að athuga tenginguna, losa um pláss á harða diskinum eða endurræsa forritið. Stuðningssamfélög hvers forrits, sem og opinber wiki-síður eða umræðuvettvangar þeirra, bjóða oft upp á skref-fyrir-skref lausnir.

Hvað öryggi varðar er notkun staðbundinnar gervigreindar mun gagnsærri en samskipti við fjartengdar þjónustur. Gögnin þín og samtalsferill eru geymd á tækinu þínu og eru ekki notuð til að þjálfa utanaðkomandi reiknirit. Hins vegar, sem varúðarráðstöfun, er mælt með því að deila ekki viðkvæmum upplýsingum í neinum gervigreindarforritum, jafnvel ekki staðbundið.

Hvað ef þú þarft enn meiri afköst? Ef þú hefur efni á uppfærslu á vinnsluminni (16 eða 32 GB) eða nútímalegri skjákorti, þá munu stærri gerðir virka betur og þú munt geta prófað þig áfram með háþróaða eiginleika eins og fjölþætta samskipti (texti, mynd, rödd). Annars eru til léttar, mjög fínstilltar gerðir sem standa sig mjög vel í flestum daglegum verkefnum.

Upplifunin er alveg án nettengingar: Þegar líkönin hafa verið sótt virkar forritið án nettengingar, sem hámarkar friðhelgi og gerir þér kleift að vinna við allar aðstæður.

Stöðugt þróunarsvæði á staðnum, gervigreindarvistkerfi

Núverandi staðbundnar gervigreindarlausnir fyrir tölvur hafa náð þroskastigi sem gerir þær nú að traustum valkost við skýjaþjónustu. Mikil fjölbreytni gerða, auðveld uppsetning og sérstillingarmöguleikar gera aðgang að nýjustu gervigreind lýðræðislegan.

Fyrirtæki eins og Google og Microsoft leggja einnig sitt af mörkum í gegnum miðlæga verkvanga (t.d. AI Hub eða Copilot í Windows), en raunverulegur möguleiki staðbundinnar gervigreindar liggur í þeirri staðreynd að... Þú getur aðlagað sérsniðna miðstöðina þína að þínum vinnuflæði, friðhelgi og markmiðum..

Þar sem þú ert greinilegur notandi gervigreindar, mælum við með að þú byrjir að læra enn meira og nýtir þér möguleika ChatGPT og annarra, þar sem þú getur til dæmis nú haft Verðsamanburður á ChatGPT.

Nú hefur þú aðgang að verkfærunum, leiðbeiningunum og brellunum sem þarf til að breyta tölvunni þinni í sannkallaða gervigreindarmiðstöð. Að taka nýsköpun og algjöra stjórn á upplýsingum þínum á næsta stig. Við vonum að þú vitir nú hvernig á að nota tölvuna þína sem staðbundna gervigreindarmiðstöð.