Sut i Ddefnyddio Eich Cyfrifiadur Personol fel Hwb Deallusrwydd Artiffisial Lleol: Canllaw Ymarferol a Chymharol

¿Sut i ddefnyddio'ch cyfrifiadur personol fel canolfan AI leol? Nid yw deallusrwydd artiffisial bellach yn faes unigryw i gorfforaethau mawr neu arbenigwyr cwmwl. Mae mwy a mwy o ddefnyddwyr yn edrych i fanteisio ar atebion AI yn uniongyrchol o'u cyfrifiaduron personol ar gyfer tasgau sy'n amrywio o gynhyrchu testun i awtomeiddio prosesau creadigol neu dechnegol, a hynny i gyd gyda'r preifatrwydd mwyaf a heb ddibynnu ar weinyddion allanol. Trowch eich cyfrifiadur personol yn ganolfan AI leol Mae'n realiti fforddiadwy ac mae o fewn cyrraedd bron unrhyw selogwr, gweithiwr proffesiynol neu fyfyriwr, hyd yn oed os nad yw eich offer o'r radd flaenaf.

Yn yr erthygl hon, byddwch chi'n darganfod sut i drawsnewid eich cyfrifiadur eich hun yn graidd eich ecosystem AI. Byddwn yn edrych ar y dewisiadau amgen meddalwedd a argymhellir fwyaf, ystyriaethau allweddol ynghylch caledwedd, modelau a nodweddion, ynghyd â manteision gweithio gyda deallusrwydd artiffisial lleol o ran preifatrwydd a phersonoli. Hefyd, byddaf yn eich tywys trwy ddewis, gosod a chael y gorau o fodelau, apiau ac adnoddau LLM, gan gymharu'r rhaglenni gorau a chynnig awgrymiadau i wneud eich profiad AI yn llyfn ac yn ddiogel, boed ar Windows, Mac, neu Linux.

Pam defnyddio'ch cyfrifiadur personol fel canolfan AI leol?

Mae defnyddio'ch cyfrifiadur fel platfform AI canolog yn cynnig manteision sy'n anodd eu cyfateb â gwasanaethau cwmwl. Un o'r rhesymau pwysicaf yw preifatrwydd: pan fyddwch chi'n rhyngweithio â chatbots yn y cwmwl, mae eich data a'ch ceisiadau yn cael eu storio ar weinyddion trydydd parti ac, er bod cwmnïau'n gweithredu mesurau diogelwch, Mae risg o ollyngiadau neu gamddefnydd bob amser. Mae prosesu gwybodaeth yn lleol yn golygu bod gennych reolaeth lwyr dros eich data. Nid oes gan neb arall fynediad at eich cwestiynau, atebion na ffeiliau.

Mantais fawr arall yw'r diffyg gofynion cysylltiad Rhyngrwyd. Gyda system ar y safle, gallwch chi fwynhau nodweddion AI hyd yn oed os oes gennych chi gysylltiad ansefydlog, yn byw mewn ardal â sylw gwael, neu os ydych chi eisiau gweithio all-lein am resymau diogelwch. Yn ogystal, mae addasu yn llawer mwy: Gallwch ddewis y model sydd orau i chi, ei addasu i'ch anghenion, a mireinio pob paramedr—rhywbeth sydd anaml yn bosibl gyda gwasanaethau cwmwl tun.

Nid yw'r agwedd economaidd yn llai pwysig. Er bod gwasanaethau cwmwl yn cynnig fersiynau am ddim, mae defnydd uwch yn cynnwys tanysgrifiadau, taliadau tocynnau, neu ddefnyddio adnoddau. Wrth weithio'n lleol, yr unig gyfyngiad yw capasiti eich caledwedd.

Beth sydd ei angen arnoch i ddechrau? Caledwedd a gofynion sylfaenol

Mae'r syniad cyffredinol bod gweithio gyda deallusrwydd artiffisial yn gofyn am gyfrifiaduron arloesol neu GPUs hynod bwerus bellach yn beth o'r gorffennol. Mae modelau iaith cyfredol wedi'u optimeiddio i redeg ar gyfrifiaduron cartref, ac mae llawer ohonynt, yn enwedig y rhai wedi'u meintioli, gall redeg hyd yn oed heb gerdyn graffeg pwrpasol, gan ddefnyddio'r CPU yn unig.

Ar gyfer gweithrediad llyfn a phrofiad dymunol, argymhellir cael o leiaf 8-16 GB o RAM. a phrosesydd cymharol fodern (Core i5 neu i7 o'r chweched genhedlaeth ymlaen, neu gyfwerth â Ryzen). Os ydych chi'n gweithio gyda modelau mwy neu eisiau perfformiad cyflymach, mae GPU gyda 4GB o VRAM yn gwneud gwahaniaeth, yn enwedig ar gyfer tasgau fel cynhyrchu delweddau neu ymatebion testun hir iawn.

Ar Mac, mae sglodion Apple M1 ac uwch hefyd yn cefnogi modelau LLM lleol gydag amseroedd ymateb da iawn. Yn fyr, os yw eich cyfrifiadur personol neu liniadur yn llai na saith mlwydd oed, mae'n debyg y gallwch chi ddechrau arbrofi gyda deallusrwydd artiffisial lleol.

Pa apiau a llwyfannau sydd eu hangen arnoch i droi eich cyfrifiadur personol yn ganolfan AI leol?

Calon eich system AI leol yw'r cymwysiadau arbenigol sy'n pontio'r bwlch rhwng eich caledwedd a modelau AI. Ymhlith y rhai mwyaf nodedig am eu rhwyddineb defnydd, eu pŵer a'u hyblygrwydd, mae'n werth sôn am:

• GPT4 Pawb: Un o'r opsiynau mwyaf poblogaidd a chyfeillgar. Mae'n caniatáu ichi lawrlwytho a gosod llu o fodelau iaith, rhyngweithio â nhw, a ffurfweddu gwahanol baramedrau. Mae'n draws-lwyfan (Windows, Mac, a Linux) ac mae ei broses osod mor syml ag unrhyw raglen bwrdd gwaith arall.
• Jan AI: Mae'n sefyll allan am ei ryngwyneb modern, y gallu i drefnu edafedd sgwrsio, a'i gydnawsedd â modelau lleol ac anghysbell (o OpenAI, er enghraifft, trwy API). Yn ogystal, mae'n cynnig ei API lleol ei hun sy'n efelychu OpenAI, gan ganiatáu i Jan gael ei integreiddio fel cefndir AI i gymwysiadau eraill sydd angen allwedd API ChatGPT, ond heb ddibynnu ar y Rhyngrwyd.
• Llama.cpp a Stiwdio LM: Mae'r offer hyn yn caniatáu ichi redeg modelau LLM yn lleol a darparu mynediad at lyfrgell gynhwysfawr o fodelau o Hugging Face a chronfeydd eraill.

Mae'r weithdrefn sylfaenol fel arfer fel a ganlyn: Lawrlwythwch yr ap a ddewiswyd o'i wefan swyddogol, gosodwch ef ar eich system, a phoriwch yr oriel o dempledi sydd ar gael (a elwir yn aml yn "The Hub" neu debyg). Yno gallwch ddewis y model rydych chi ei eisiau, gwirio ei faint a'i ofynion cof, a lawrlwytho popeth o'r rhyngwyneb ei hun.

Modelau AI gorau i'w gosod yn lleol

Mae byd modelau LLM ffynhonnell agored yn enfawr ac yn tyfu'n gyson. Ar wahân i'r rhai a gynigir gan OpenAI (sy'n gofyn am gysylltiad cwmwl), mae yna lawer o ddewisiadau amgen sydd wedi'u paratoi i weithio'n lleol: Mistral 7B, TinyLlama Chat, Nous Hermes 2, Mixol 8X 7B, ymhlith eraill. Mae llawer o'r modelau hyn wedi'u meintioli, sy'n golygu eu bod yn cymryd llai o le ac angen llai o RAM ar gost aberthu ychydig bach o gywirdeb.

I ddechreuwyr Argymhellir modelau bach-canolig, fel Mistro Instruct 7B neu TinyLlama Chat, gan eu bod yn rhyddhau'n gyflym ac nid ydynt yn gorlwytho'r system. Os oes gan eich cyfrifiadur fwy o RAM a lle storio, rhowch gynnig ar fodelau mwy cyflawn fel Mixol 8X 7B, gan wybod, er enghraifft, y gall fod angen hyd at 26 GB o le disg ar gyfer y model yn unig.

Ym mron pob cymhwysiad gallwch hidlo modelau yn seiliedig ar eu maint, eu prif iaith, eu trwyddedau neu'r math o dasgau y maent wedi cael eu hyfforddi ar eu cyfer. (ysgrifennu testun, cynhyrchu cod, cyfieithu, ac ati). Po fwyaf penodol yw pwrpas y model, y mwyaf cywir fydd y canlyniadau a gewch.

Y broses gam wrth gam ar gyfer gosod a defnyddio AI lleol

1. Lawrlwythwch a gosodwch y cais: Ewch i wefan swyddogol eich hoff offeryn (e.e., GPT4All neu Jan AI), lawrlwythwch y gosodwr ar gyfer eich system weithredu, a dilynwch y camau ar y sgrin. Yn Windows, fel arfer mae'n ddewin clasurol; Ar Mac, efallai y bydd angen galluogi Rosetta ar gyfer cyfrifiaduron gyda phrosesydd M1/M2; Ar Linux, bydd gennych becynnau DEB neu AppImage ar gael.

2. Archwiliwch a lawrlwythwch fodelau AI: Ar ôl i chi agor y rhaglen, ewch i'r archwiliwr modelau (yn GPT4All dyma'r "Discovery Model Space", yn Jan AI, "The Hub"). Hidlo, adolygu nodweddion, a phan fyddwch chi'n dod o hyd i'r model sy'n apelio fwyaf atoch chi, cliciwch ar "Lawrlwytho". Byddwch yn cael gwybod am y maint a'r gofynion cyn parhau.

3. Dewis a gweithredu cyntaf: Ar ôl i'r templed gael ei lawrlwytho, dewiswch ef yn yr ap a dechreuwch sgwrs neu dasg newydd. Ysgrifennwch eich ymholiad neu gais ac aros am yr ymateb. Os byddwch chi'n sylwi ar ymatebion araf, rhowch gynnig ar ddefnyddio modelau ysgafnach neu addaswch y gosodiadau.

4. Addaswch y paramedrau ac arbrofwch: Yn y rhan fwyaf o raglenni gallwch addasu'r nifer uchaf o docynnau (sy'n cyfyngu ar hyd yr ymatebion), yn ogystal â manylion eraill fel tymheredd, top_p, ac ati. Rhowch gynnig ar wahanol osodiadau nes i chi ddod o hyd i'r cydbwysedd rhwng cyflymder ac ansawdd canlyniadau sy'n gweithio i chi.

5. Trefnu ac addasu edafedd: Mae llawer o raglenni'n caniatáu ichi greu edafedd sgwrsio gyda gwahanol enwau a dibenion (syniadau fideo, ysgrifennu creadigol, cymorth gyda chodio, ac ati), a gallwch hefyd gadw cyfarwyddiadau personol ar gyfer pob edau, sy'n symleiddio rhyngweithio.

Rheoli adnoddau ac optimeiddio perfformiad

Prif gyfyngiad deallusrwydd artiffisial lleol yw caledwedd: Pan fydd y model yn rhy fawr ar gyfer eich RAM, gall arafu, damweiniau, neu hyd yn oed gwallau gweithredu ddigwydd. Mae'r apiau gorau yn cynnig rhybuddion ymlaen llaw pan fyddwch chi'n dewis model sy'n rhy drwm ar gyfer eich dyfais.

Mae Jan AI yn rhagori trwy integreiddio monitor adnoddau ar y sgrin sy'n dangos i chi mewn amser real faint o RAM, CPU a chyflymder prosesu (tocynnau yr eiliad) a ddefnyddir. Fel hyn, gallwch chi bob amser wybod a yw eich tîm ar ei derfyn neu a allwch chi barhau i wasgu mwy allan ohono.

Os oes gan eich cyfrifiadur gerdyn graffeg Nvidia ac yr hoffech chi fanteisio arno, Mae rhai cymwysiadau'n caniatáu cyflymiad GPU trwy osod CUDA. Gall hyn luosi'r cyflymder mewn tasgau trwm. Cyfeiriwch bob amser at y ddogfennaeth swyddogol i osod a galluogi cefnogaeth GPU yn iawn.

Manteision meintioli: modelau ysgafnach a mwy effeithlon

Term cyffredin wrth siarad am AI lleol yw “meintoli”. Mae hyn yn cynnwys lleihau cywirdeb storio pwysau model trwy eu trosi'n rhifau gyda llai o bitiau, sy'n lleihau maint disg a chof y model yn sylweddol, gyda'r effaith leiaf ar ansawdd ymateb.

Mae'r rhan fwyaf o fodelau y gellir eu lawrlwytho eisoes yn dod wedi'u meintioli mewn gwahanol fersiynau (4-bit, 8-bit, ac ati). Os mai dim ond mewn fersiwn "llawn" y mae'r model rydych chi ei eisiau yn bodoli ac na all eich tîm ei symud, mae yna gymwysiadau sy'n eich galluogi i'w fesur eich hun (er enghraifft, GPTQ).

Y dechneg hon yn ei gwneud hi'n bosibl rhedeg modelau pwerus ar gyfrifiaduron hŷn neu rai sydd â chyfyngiadau adnoddau, gan gynnal preifatrwydd ac annibyniaeth ar y cwmwl.

Cymhariaeth o'r offer AI lleol gorau: GPT4All vs. Jan AI

Mae'r ddau raglen yn cynnig popeth sydd ei angen arnoch i drawsnewid eich cyfrifiadur personol yn ganolfan AI bwerus, ond mae gan bob un ei nodweddion unigryw ei hun a all eich helpu i ddewis un neu'r llall yn dibynnu ar eich dewisiadau.

• Hawdd i'w ddefnyddio: GPT4All Mae'n syml iawn, mae'r gosodiad yn gyflym ac mae lawrlwytho modelau'n cael ei wneud o ryngwyneb clir a hawdd ei ddefnyddio. Mae Jan AI, ar y llaw arall, yn cynnig trefniadaeth sgwrsio fwy datblygedig a'r gallu i addasu cyfarwyddiadau a llifau gwaith ymhellach.
• Cydnawsedd: Mae'r ddau yn cefnogi Windows, Mac a Linux. Mae Jan AI yn ychwanegu integreiddio uniongyrchol â chymwysiadau eraill trwy ei API lleol.
• Monitro adnoddau: Mae Jan AI yn darparu dangosfwrdd amser real o ddefnydd adnoddau, sy'n ddefnyddiol i dimau sydd â chyfyngiadau. Mae GPT4All yn adrodd ar y gofynion lleiaf ac yn eich rhybuddio os gallai eich caledwedd fethu.
• Estyniadau: Mae Jan yn caniatáu ichi osod estyniadau sy'n ymestyn y swyddogaeth (er enghraifft, y monitor adnoddau a grybwyllwyd uchod), nad yw'n bresennol yn GPT4All.

Fy argymhelliad yw rhoi cynnig ar y ddau a gweld pa un sy'n gweddu orau i'ch llif gwaith a'ch tîm.

Datrys Problemau a Chwestiynau Cyffredin

Mae'n gyffredin dod ar draws rhai heriau wrth lawrlwytho a gosod modelau AI, yn enwedig wrth ddelio â ffeiliau mawr neu wrth gael adnoddau cyfyngedig ar dîm. Un o'r gwallau mwyaf cyffredin yw methu â nôl. Yn yr achosion hyn, mae'n syniad da gwirio'ch cysylltiad, clirio lle ar y ddisg, neu ailgychwyn y rhaglen. Mae cymunedau cymorth pob rhaglen, yn ogystal â'u wicis neu fforymau swyddogol, yn aml yn darparu atebion cam wrth gam.

O ran diogelwch, mae defnyddio deallusrwydd artiffisial lleol yn llawer mwy tryloyw na rhyngweithio â gwasanaethau o bell. Mae eich data a hanes sgwrsio yn aros ar eich dyfais ac ni chânt eu defnyddio i hyfforddi algorithmau allanol. Fodd bynnag, fel rhagofal, argymhellir peidio â rhannu gwybodaeth sensitif mewn unrhyw gymhwysiad AI, hyd yn oed yn lleol.

Beth os oes angen hyd yn oed mwy o berfformiad arnoch chi? Os gallwch chi fforddio uwchraddio RAM (16 neu 32 GB) neu GPU modern, bydd modelau mwy yn rhedeg yn llyfnach a byddwch chi'n gallu arbrofi gyda nodweddion uwch fel rhyngweithio amlfoddol (testun, delwedd, llais). Fel arall, mae modelau ysgafn, wedi'u optimeiddio'n fawr sy'n perfformio'n dda iawn yn y rhan fwyaf o dasgau bob dydd.

Mae'r profiad yn hollol all-lein: Unwaith y bydd y modelau wedi'u lawrlwytho, mae'r rhaglen yn gweithio heb gysylltiad Rhyngrwyd, gan wneud y mwyaf o breifatrwydd a chaniatáu i chi weithio mewn unrhyw amgylchiad.

Ecosystem AI lleol sy'n esblygu'n gyson

Mae atebion deallusrwydd artiffisial lleol cyfredol ar gyfer cyfrifiaduron personol wedi cyrraedd lefel o aeddfedrwydd sydd bellach yn eu gwneud yn ddewis arall cadarn i wasanaethau cwmwl. Mae'r amrywiaeth enfawr o fodelau, rhwyddineb gosod, a'r galluoedd addasu yn democrateiddio mynediad at ddeallusrwydd artiffisial arloesol.

Mae cwmnïau fel Google a Microsoft hefyd yn cyfrannu eu rhan drwy lwyfannau canolog (e.e. AI Hub neu Copilot ar Windows), ond mae potensial gwirioneddol AI lleol yn gorwedd yn y ffaith bod Gallwch chi deilwra'ch canolbwynt personol i'ch llifau gwaith, preifatrwydd a nodau penodol..

Gan wybod eich bod yn ddefnyddiwr AI clir, rydym yn awgrymu eich bod yn dechrau dysgu hyd yn oed yn fwy ac yn manteisio ar alluoedd ChatGPT ac eraill, gan er enghraifft, gallwch nawr gael cymhariaeth prisiau ar ChatGPT.

Nawr mae gennych chi'r offer, y canllawiau a'r triciau sydd eu hangen i drawsnewid eich cyfrifiadur personol yn ganolfan deallusrwydd artiffisial go iawn, Mynd ag arloesedd a rheolaeth lwyr dros eich gwybodaeth i lefel arall. Gobeithiwn eich bod chi nawr yn gwybod sut i ddefnyddio'ch cyfrifiadur personol fel canolfan AI leol.