Kā izmantot datoru kā lokālu mākslīgā intelekta centru: praktisks un salīdzinošs ceļvedis

¿Kā izmantot datoru kā lokālu mākslīgā intelekta centru? Mākslīgais intelekts vairs nav tikai lielo korporāciju vai mākoņpakalpojumu ekspertu joma. Arvien vairāk lietotāju vēlas izmantot mākslīgā intelekta risinājumus tieši no saviem personālajiem datoriem dažādiem uzdevumiem, sākot no teksta ģenerēšanas līdz radošo vai tehnisko procesu automatizācijai, nodrošinot maksimālu privātumu un nepaļaujoties uz ārējiem serveriem. Pārveidojiet savu datoru par lokālu mākslīgā intelekta centru Tā ir pieejama realitāte, kas ir pieejama gandrīz jebkuram entuziastam, profesionālim vai studentam, pat ja jūsu aprīkojums nav vismodernākais.

Šajā rakstā jūs uzzināsiet, kā pārveidot savu datoru par savas mākslīgā intelekta ekosistēmas kodolu. Mēs aplūkosim visieteicamākās programmatūras alternatīvas, galvenos apsvērumus attiecībā uz aparatūru, modeļiem un funkcijām, kā arī priekšrocības, ko sniedz darbs ar lokālo mākslīgo intelektu gan privātuma, gan personalizācijas ziņā. Turklāt es jūs vadīšu, kā izvēlēties, instalēt un maksimāli izmantot LLM modeļus, lietotnes un resursus, salīdzinot labākās programmas un piedāvājot padomus, kā padarīt jūsu mākslīgā intelekta pieredzi vienmērīgu un drošu neatkarīgi no tā, vai operētājsistēmā Windows, Mac vai Linux.

Kāpēc izmantot datoru kā lokālu mākslīgā intelekta centru?

Datora izmantošana kā centrālā mākslīgā intelekta platforma sniedz priekšrocības, kuras ir grūti salīdzināt ar mākoņpakalpojumiem. Viens no svarīgākajiem iemesliem ir privātums: mijiedarbojoties ar tērzēšanas robotiem mākonī, jūsu dati un pieprasījumi tiek glabāti trešo pušu serveros, un, lai gan uzņēmumi ievieš drošības pasākumus, Vienmēr pastāv noplūdes vai nepareizas lietošanas risks. Informācijas apstrāde lokāli nozīmē, ka jums ir pilnīga kontrole pār jūsu datiem. Nevienam citam nav piekļuves jūsu jautājumiem, atbildēm vai failiem.

Vēl viena liela priekšrocība ir interneta savienojuma neesamība. Izmantojot lokālu sistēmu, jūs varat baudīt mākslīgā intelekta funkcijas pat tad, ja jums ir nestabils savienojums, dzīvojat apgabalā ar sliktu pārklājumu vai vienkārši vēlaties strādāt bezsaistē drošības apsvērumu dēļ. Turklāt pielāgošanas iespējas ir daudz plašākas: Jūs varat izvēlēties sev piemērotāko modeli, pielāgot to savām vajadzībām un precīzi noregulēt katru parametru — tas reti ir iespējams ar gataviem mākoņpakalpojumiem.

Ne mazāk svarīgs ir ekonomiskais aspekts. Lai gan mākoņpakalpojumi piedāvā bezmaksas versijas, to lietošana padziļināti ietver abonēšanu, maksājumus ar žetoniem vai resursu patēriņu. Strādājot lokāli, vienīgais ierobežojums ir jūsu aparatūras ietilpība.

Kas jums ir nepieciešams, lai sāktu? Aparatūra un pamatprasības

Vispārējais priekšstats, ka darbam ar mākslīgo intelektu ir nepieciešami jaunākie datori vai īpaši jaudīgi grafiskie procesori, tagad ir pagātne. Pašreizējie valodu modeļi ir optimizēti darbībai mājas datoros, un daudzi no tiem, īpaši kvantizētie, var darboties pat bez atsevišķas grafikas kartes, izmantojot tikai centrālo procesoru.

Lai nodrošinātu vienmērīgu darbību un patīkamu pieredzi, ieteicams vismaz 8–16 GB RAM. un samērā modernu procesoru (sestās paaudzes Core i5 vai i7 vai Ryzen ekvivalenti). Ja strādājat ar lielākiem modeļiem vai vēlaties ātrāku veiktspēju, GPU ar 4 GB VRAM ir noderīga, īpaši tādiem uzdevumiem kā attēlu ģenerēšana vai ļoti garas teksta atbildes.

Mac datoros Apple M1 mikroshēmas un jaunākas versijas atbalsta arī lokālos LLM modeļus ar ļoti labu reakcijas laiku. Īsāk sakot, ja jūsu dators vai klēpjdators ir jaunāks par septiņiem gadiem, jūs, iespējams, varat sākt eksperimentēt ar lokālo mākslīgo intelektu.

Kādas lietotnes un platformas ir nepieciešamas, lai datoru pārvērstu par lokālu mākslīgā intelekta centru?

Jūsu lokālās mākslīgā intelekta sistēmas pamatā ir specializētās lietojumprogrammas, kas savieno jūsu aparatūru un mākslīgā intelekta modeļus. Starp ievērojamākajiem, ņemot vērā to lietošanas ērtumu, jaudu un elastību, ir vērts pieminēt:

• GPT4Visi: Viena no populārākajām un draudzīgākajām iespējām. Tas ļauj lejupielādēt un instalēt daudzus valodu modeļus, mijiedarboties ar tiem un konfigurēt dažādus parametrus. Tā ir starpplatformu programma (Windows, Mac un Linux), un tās instalēšanas process ir tikpat vienkāršs kā jebkurai citai darbvirsmas programmai.
• Jans AI: Tas izceļas ar moderno saskarni, iespēju organizēt sarunu pavedienus un saderību gan ar lokāliem, gan attāliem modeļiem (piemēram, no OpenAI, izmantojot API). Turklāt tas piedāvā savu lokālo API, kas emulē OpenAI, ļaujot Jan integrēt kā AI aizmugursistēmu citās lietojumprogrammās, kurām nepieciešama ChatGPT API atslēga, bet nepaļaujoties uz internetu.
• Llama.cpp un LM Studio: Šie rīki ļauj lokāli palaist LLM modeļus un nodrošina piekļuvi visaptverošai modeļu bibliotēkai no Hugging Face un citām krātuvēm.

Pamata procedūra parasti ir šāda: Lejupielādējiet izvēlēto lietotni no tās oficiālās tīmekļa vietnes, instalējiet to savā sistēmā un pārlūkojiet pieejamo veidņu galeriju (bieži sauktu par “The Hub” vai līdzīgu). Tur jūs varat izvēlēties vēlamo modeli, pārbaudīt tā izmēru un atmiņas prasības, kā arī lejupielādēt visu no pašas saskarnes.

Labākie lokāli instalējamie mākslīgā intelekta modeļi

Atvērtā pirmkoda LLM modeļu pasaule ir plaša un nepārtraukti aug. Papildus OpenAI piedāvātajām alternatīvām (kurām nepieciešams mākoņa savienojums), ir arī daudzas alternatīvas, kas paredzētas darbam lokāli: Mistral 7B, TinyLlama Chat, Nous Hermes 2, Mixol 8X 7B un citas. Daudzi no šiem modeļiem ir kvantizēti, kas nozīmē, ka tie aizņem mazāk vietas un prasa mazāk RAM, bet nedaudz upurējot precizitāti.

Iesācējiem Ieteicami mazi/vidēji modeļi, piemēram, Mistro Instruct 7B vai TinyLlama Chat, jo tie ātri izlādējas un nepārslogo sistēmu. Ja jūsu datoram ir vairāk RAM un atmiņas ietilpības, izmēģiniet pilnīgākus modeļus, piemēram, Mixol 8X 7B, zinot, ka, piemēram, tikai šim modelim var būt nepieciešami līdz pat 26 GB diska vietas.

Gandrīz visās lietojumprogrammās modeļus var filtrēt pēc to lieluma, primārās valodas, licencēm vai uzdevumu veida, kuriem tie ir apmācīti. (teksta rakstīšana, koda ģenerēšana, tulkošana utt.). Jo konkrētāks ir modeļa mērķis, jo precīzākus rezultātus iegūsiet.

Soli pa solim lokālā mākslīgā intelekta instalēšanas un lietošanas process

1. Lejupielādējiet un instalējiet lietojumprogrammu: Dodieties uz vēlamā rīka (piemēram, GPT4All vai Jan AI) oficiālo vietni, lejupielādējiet operētājsistēmas instalētāju un izpildiet ekrānā redzamos norādījumus. Sistēmā Windows tas parasti ir klasisks vednis; Mac datoros ar M1/M2 procesoru var būt nepieciešams iespējot Rosetta; Linux sistēmā būs pieejamas DEB vai AppImage pakotnes.

2. Izpētiet un lejupielādējiet mākslīgā intelekta modeļus: Kad esat atvēris lietojumprogrammu, piekļūstiet modeļu pārlūkam (GPT4All tā ir “Discovery Model Space”, Jan AI — “The Hub”). Filtrējiet, pārskatiet funkcijas un, kad atrodat modeli, kas jūs visvairāk interesē, noklikšķiniet uz “Lejupielādēt”. Pirms turpināt, jūs tiksiet informēts par izmēru un prasībām.

3. Atlase un pirmā izpilde: Kad veidne ir lejupielādēta, atlasiet to lietotnē un sāciet jaunu sarunu vai uzdevumu. Uzrakstiet savu pieprasījumu vai pieprasījumu un gaidiet atbildi. Ja pamanāt lēnu reakciju, mēģiniet izmantot vieglākus modeļus vai pielāgojiet iestatījumus.

4. Pielāgojiet parametrus un eksperimentējiet: Vairumā programmu var mainīt maksimālo marķieru skaitu (kas ierobežo atbilžu garumu), kā arī citas detaļas, piemēram, temperatūru, top_p utt. Izmēģiniet dažādus iestatījumus, līdz atrodat sev piemērotāko līdzsvaru starp ātrumu un rezultātu kvalitāti.

5. Pavedienu organizēšana un pielāgošana: Daudzas programmas ļauj izveidot sarunu pavedienus ar dažādiem nosaukumiem un mērķiem (video idejas, radošā rakstīšana, palīdzība kodēšanā utt.), un katram pavedienam var saglabāt arī pielāgotus norādījumus, kas vienkāršo mijiedarbību.

Resursu pārvaldība un veiktspējas optimizācija

Vietējā mākslīgā intelekta galvenais ierobežojums ir aparatūra: Ja modelis ir pārāk liels jūsu RAM atmiņai, var rasties palēninājumi, avārijas vai pat izpildes kļūdas. Labākās lietotnes piedāvā iepriekšējus brīdinājumus, ja izvēlaties modeli, kas ir pārāk smags jūsu ierīcei.

Jan AI izceļas ar ekrāna resursu monitora integrēšanu kas reāllaikā parāda RAM, CPU patēriņu un apstrādes ātrumu (tokeni sekundē). Tādā veidā jūs vienmēr varat zināt, vai jūsu komanda ir sasniegusi savu robežu vai arī jūs joprojām varat no tās izspiest vairāk.

Ja jūsu datoram ir Nvidia grafikas karte un vēlaties to izmantot, Dažas lietojumprogrammas ļauj paātrināt GPU, instalējot CUDA. Tas var reizināt ātrumu sarežģītos uzdevumos. Lai pareizi instalētu un iespējotu GPU atbalstu, vienmēr skatiet oficiālo dokumentāciju.

Kvantitatīvās noteikšanas priekšrocības: vieglāki un efektīvāki modeļi

Runājot par lokālo mākslīgo intelektu, bieži tiek lietots termins “kvantizācija”. Tas ietver modeļa svaru glabāšanas precizitātes samazināšanu, pārveidojot tos skaitļos ar mazāku bitu skaitu, kas ievērojami samazina modeļa diska un atmiņas izmēru, minimāli ietekmējot atbildes kvalitāti.

Lielākā daļa lejupielādējamo modeļu jau ir kvantizēti dažādās versijās (4 bitu, 8 bitu utt.). Ja vēlamais modelis pastāv tikai “pilnā” versijā un jūsu komanda to nevar pārvietot, ir lietojumprogrammas, kas ļauj to pašam kvantificēt (piemēram, GPTQ).

Šī tehnika ļauj darbināt jaudīgus modeļus uz vecākiem vai resursiem ierobežotiem datoriem, vienlaikus saglabājot privātumu un neatkarību no mākoņa.

Labāko lokālo mākslīgā intelekta rīku salīdzinājums: GPT4All pret Jan AI

Abas lietojumprogrammas piedāvā visu nepieciešamo, lai pārveidotu datoru par jaudīgu mākslīgā intelekta centru, taču katrai no tām ir savas unikālas funkcijas, kas var palīdzēt izvēlēties vienu vai otru atkarībā no jūsu vēlmēm.

• Lietošanas vieglums: GPT4Visi Tas ir ļoti vienkārši, instalēšana ir ātra, un modeļu lejupielāde notiek no skaidra un lietotājam draudzīga interfeisa. Savukārt Jan AI piedāvā sarežģītāku sarunu organizēšanu un iespēju vēl vairāk pielāgot norādījumus un darbplūsmas.
• Saderība: Abi atbalsta Windows, Mac un Linux. Jan AI pievieno tiešu integrāciju ar citām lietojumprogrammām, izmantojot savu lokālo API.
• Resursu uzraudzība: Jan AI nodrošina reāllaika resursu patēriņa informācijas paneli, kas ir noderīgs komandām ar ierobežojumiem. GPT4All ziņo par minimālajām prasībām un brīdina, ja jūsu aparatūra varētu neatbilst prasībām.
• Paplašinājumi: Jan ļauj instalēt paplašinājumus, kas paplašina funkcionalitāti (piemēram, iepriekšminēto resursu monitoru), kas nav pieejams GPT4All.

Mans ieteikums ir izmēģināt abus un redzēt, kurš no tiem vislabāk atbilst jūsu darbplūsmai un komandai.

Problēmu novēršana un bieži uzdotie jautājumi

Lejupielādējot un instalējot mākslīgā intelekta modeļus, bieži rodas dažas problēmas, īpaši, ja tiek apstrādāti lieli faili vai komandā ir ierobežoti resursi. Viena no visbiežāk sastopamajām kļūdām ir neizdevusies ielāde. Šādos gadījumos ieteicams pārbaudīt savienojumu, atbrīvot vietu diskā vai restartēt lietojumprogrammu. Katras programmas atbalsta kopienas, kā arī to oficiālās wiki vietnes vai forumi bieži vien piedāvā soli pa solim sniegtus risinājumus.

Drošības ziņā lokālā mākslīgā intelekta izmantošana ir daudz caurspīdīgāka nekā mijiedarbība ar attāliem pakalpojumiem. Jūsu dati un sarunu vēsture paliek jūsu ierīcē un netiek izmantota ārēju algoritmu apmācībai. Tomēr piesardzības nolūkos nav ieteicams nevienā mākslīgā intelekta lietojumprogrammā, pat lokāli, kopīgot sensitīvu informāciju.

Ko darīt, ja nepieciešama vēl lielāka veiktspēja? Ja varat atļauties RAM jauninājumu (16 vai 32 GB) vai modernu grafisko procesoru, lielāki modeļi darbosies vienmērīgāk, un jūs varēsiet eksperimentēt ar uzlabotām funkcijām, piemēram, multimodālu mijiedarbību (tekstu, attēlu, balsi). Pretējā gadījumā ir pieejami viegli, ļoti optimizēti modeļi, kas ļoti labi darbojas lielākajā daļā ikdienas uzdevumu.

Pieredze ir pilnībā bezsaistē: Kad modeļi ir lejupielādēti, lietojumprogramma darbojas bez interneta savienojuma, maksimāli palielinot privātumu un ļaujot strādāt jebkuros apstākļos.

Pastāvīgi mainīga vietējā mākslīgā intelekta ekosistēma

Pašreizējie lokālie mākslīgā intelekta risinājumi datoriem ir sasnieguši tādu brieduma līmeni, ka tie tagad ir stabila alternatīva mākoņpakalpojumiem. Milzīgā modeļu daudzveidība, vienkāršā uzstādīšana un pielāgošanas iespējas demokratizē piekļuvi modernākajam mākslīgajam intelektam.

Arī tādi uzņēmumi kā Google un Microsoft sniedz savu ieguldījumu, izmantojot centralizētas platformas (piemēram, AI Hub vai Copilot operētājsistēmā Windows), taču vietējā mākslīgā intelekta patiesais potenciāls slēpjas faktā, ka Jūs varat pielāgot savu pielāgoto centru savām konkrētajām darbplūsmām, privātumam un mērķiem..

Apzinoties, ka esat nepārprotams mākslīgā intelekta lietotājs, iesakām sākt mācīties vēl vairāk un izmantot ChatGPT un citu iespējas, jo, piemēram, tagad varat izmantot cenu salīdzinājums vietnē ChatGPT.

Tagad jūsu rīcībā ir rīki, rokasgrāmatas un ieteikumi, kas nepieciešami, lai pārveidotu datoru par īstu mākslīgā intelekta centru. Paceļot inovācijas un absolūtu kontroli pār savu informāciju jaunā līmenī. Mēs ceram, ka tagad jūs zināt, kā izmantot datoru kā lokālu mākslīgā intelekta centru.