Kaip naudoti kompiuterį kaip vietinį dirbtinio intelekto centrą: praktinis ir lyginamasis vadovas

¿Kaip naudoti kompiuterį kaip vietinį dirbtinio intelekto centrą? Dirbtinis intelektas nebėra išskirtinė didelių korporacijų ar debesų kompiuterijos ekspertų sritis. Vis daugiau vartotojų nori naudoti dirbtinio intelekto sprendimus tiesiai iš savo asmeninių kompiuterių, kad atliktų įvairias užduotis – nuo ​​teksto generavimo iki kūrybinių ar techninių procesų automatizavimo, užtikrindami maksimalų privatumą ir nepasikliaudami išoriniais serveriais. Paverskite savo kompiuterį vietiniu dirbtinio intelekto centru Tai prieinama realybė, kurią gali įsigyti beveik kiekvienas entuziastas, profesionalas ar studentas, net jei jūsų įranga nėra pati moderniausia.

Šiame straipsnyje sužinosite, kaip paversti savo kompiuterį dirbtinio intelekto ekosistemos branduoliu. Apžvelgsime labiausiai rekomenduojamas programinės įrangos alternatyvas, pagrindinius aspektus, susijusius su aparatine įranga, modeliais ir funkcijomis, taip pat vietinio dirbtinio intelekto privalumus tiek privatumo, tiek suasmeninimo požiūriu. Be to, padėsiu jums išsirinkti, įdiegti ir išnaudoti visas LLM modelių, programų ir išteklių galimybes, palyginsiu geriausias programas ir pateiksiu patarimų, kaip užtikrinti sklandžią ir saugią dirbtinio intelekto patirtį, nesvarbu, ar tai būtų „Windows“, „Mac“, ar „Linux“.

Kodėl verta naudoti kompiuterį kaip vietinį dirbtinio intelekto centrą?

Naudojant kompiuterį kaip centrinę dirbtinio intelekto platformą, atsiranda privalumų, kuriuos sunku prilygti debesijos paslaugoms. Viena iš svarbiausių priežasčių yra privatumas: kai bendraujate su pokalbių robotais debesyje, jūsų duomenys ir užklausos galiausiai saugomi trečiųjų šalių serveriuose ir, nors įmonės įgyvendina saugumo priemones, Visada yra nuotėkio ar netinkamo naudojimo rizika. Informacijos apdorojimas vietoje reiškia, kad jūs visiškai kontroliuojate savo duomenis. Niekas kitas neturi prieigos prie jūsų klausimų, atsakymų ar failų.

Dar vienas didelis privalumas yra interneto ryšio reikalavimų nebuvimas. Naudodami vietinę sistemą, galite mėgautis dirbtinio intelekto funkcijomis net jei jūsų ryšys nestabilus, gyvenate vietovėje, kurioje prastas ryšio signalas, arba tiesiog norite dirbti neprisijungę prie interneto dėl saugumo priežasčių. Be to, pritaikymo galimybės yra daug didesnės: Galite pasirinkti jums tinkamiausią modelį, pritaikyti jį pagal savo poreikius ir tiksliai suderinti kiekvieną parametrą – tai retai įmanoma naudojant iš anksto paruoštas debesijos paslaugas.

Ne mažiau svarbus yra ir ekonominis aspektas. Nors debesijos paslaugos siūlo nemokamas versijas, pažangiam naudojimui reikia prenumeratų, mokėjimų už žetonus arba išteklių naudojimo. Dirbant lokaliai, vienintelis apribojimas yra jūsų aparatinės įrangos talpa.

Ko reikia norint pradėti? Aparatinė įranga ir pagrindiniai reikalavimai

Bendra idėja, kad darbui su dirbtiniu intelektu reikia pažangiausių kompiuterių arba itin galingų grafikos procesorių, jau praeityje. Dabartiniai kalbos modeliai buvo optimizuoti veikti namų kompiuteriuose, ir daugelis jų, ypač kvantiniai, gali veikti net ir be atskiros vaizdo plokštės, naudojant tik procesorių.

Sklandžiam veikimui ir maloniai patirčiai rekomenduojama turėti bent 8–16 GB RAM. ir gana modernus procesorius (šeštosios kartos ir vėlesni „Core i5“ arba „i7“, arba „Ryzen“ atitikmenys). Jei dirbate su didesniais modeliais arba norite greitesnio našumo, GPU su 4 GB VRAM yra puikus pasirinkimas, ypač atliekant tokias užduotis kaip vaizdų generavimas arba labai ilgi tekstiniai atsakymai.

„Mac“ kompiuteriuose „Apple M1“ ir naujesnės versijos lustai taip pat palaiko vietinius LLM modelius su labai geru atsako laiku. Trumpai tariant, jei jūsų asmeniniam ar nešiojamam kompiuteriui mažiau nei septyneri metai, tikriausiai galite pradėti eksperimentuoti su vietiniu dirbtiniu intelektu.

Kokių programų ir platformų reikia, kad jūsų kompiuteris taptų vietiniu dirbtinio intelekto centru?

Jūsų vietinės dirbtinio intelekto sistemos šerdis yra specializuotos programos, kurios jungia jūsų aparatinę įrangą ir dirbtinio intelekto modelius. Tarp labiausiai išsiskiriančių dėl naudojimo paprastumo, galios ir lankstumo verta paminėti:

• GPT4All: Vienas iš populiariausių ir draugiškiausių variantų. Tai leidžia atsisiųsti ir įdiegti daugybę kalbos modelių, su jais sąveikauti ir konfigūruoti skirtingus parametrus. Ji veikia įvairiose platformose („Windows“, „Mac“ ir „Linux“), o jos diegimo procesas yra toks pat paprastas kaip ir bet kurios kitos darbalaukio programos.
• Sau AI: Jis išsiskiria modernia sąsaja, galimybe tvarkyti pokalbių gijas ir suderinamumu tiek su vietiniais, tiek su nuotoliniais modeliais (pavyzdžiui, iš „OpenAI“ per API). Be to, ji siūlo savo vietinę API, kuri emuliuoja „OpenAI“, leisdama Jan integruoti kaip AI sistemą į kitas programas, kurioms reikalingas „ChatGPT API“ raktas, tačiau nenaudojant interneto.
• „Llama.cpp“ ir „LM Studio“: Šie įrankiai leidžia paleisti LLM modelius lokaliai ir suteikia prieigą prie išsamios „Hugging Face“ ir kitų saugyklų modelių bibliotekos.

Pagrindinė procedūra paprastai yra tokia: Atsisiųskite pasirinktą programėlę iš oficialios svetainės, įdiekite ją savo sistemoje ir peržiūrėkite galimų šablonų galeriją (dažnai vadinamą „The Hub“ ar panašiu). Ten galite pasirinkti norimą modelį, patikrinti jo dydį ir atminties reikalavimus bei atsisiųsti viską iš pačios sąsajos.

Geriausi dirbtinio intelekto modeliai, kuriuos galima įdiegti vietoje

Atvirojo kodo LLM modelių pasaulis yra platus ir nuolat augantis. Be „OpenAI“ siūlomų (kurioms reikalingas debesies ryšys), yra daug alternatyvų, paruoštų veikti vietoje: „Mistral 7B“, „TinyLlama Chat“, „Nous Hermes 2“, „Mixol 8X 7B“ ir kt. Daugelis šių modelių yra kvantuoti, o tai reiškia, kad jie užima mažiau vietos ir reikalauja mažiau RAM, tačiau šiek tiek praranda tikslumą.

Pradedantiesiems Rekomenduojami maži ir vidutiniai modeliai, tokie kaip „Mistro Instruct 7B“ arba „TinyLlama Chat“, nes jie greitai išsikrauna ir neperkrauna sistemos. Jei jūsų kompiuteryje yra daugiau RAM ir atminties vietos, išbandykite sudėtingesnius modelius, tokius kaip „Mixol 8X 7B“, žinodami, kad, pavyzdžiui, vien šiam modeliui gali prireikti iki 26 GB vietos diske.

Beveik visose programose galite filtruoti modelius pagal jų dydį, pagrindinę kalbą, licencijas arba užduočių, kurioms jie buvo apmokyti, tipą. (teksto rašymas, kodo generavimas, vertimas ir kt.). Kuo konkretesnis modelio tikslas, tuo tikslesnius rezultatus gausite.

Žingsnis po žingsnio vietinio dirbtinio intelekto diegimo ir naudojimo procesas

1. Atsisiųskite ir įdiekite programą: Eikite į oficialią pasirinkto įrankio (pvz., „GPT4All“ arba „Jan AI“) svetainę, atsisiųskite savo operacinei sistemai skirtą diegimo programą ir vykdykite ekrane pateikiamus veiksmus. „Windows“ sistemoje tai paprastai yra klasikinis vedlys; „Mac“ kompiuteriuose su M1/M2 procesoriumi gali reikėti įjungti „Rosetta“; „Linux“ sistemoje turėsite DEB arba „AppImage“ paketus.

2. Naršykite ir atsisiųskite dirbtinio intelekto modelius: Atidarę programą, eikite į modelių naršyklę (GPT4All programoje tai yra „Discovery Model Space“, o Jan AI – „The Hub“). Filtruokite, peržiūrėkite funkcijas ir radę jums labiausiai patinkantį modelį, spustelėkite „Atsisiųsti“. Prieš tęsdami būsite informuoti apie dydį ir reikalavimus.

3. Atranka ir pirmasis vykdymas: Kai šablonas bus atsisiųstas, pasirinkite jį programoje ir pradėkite naują pokalbį arba užduotį. Parašykite savo užklausą ar prašymą ir laukite atsakymo. Jei pastebite lėtą reakciją, pabandykite naudoti lengvesnius modelius arba pakoreguokite nustatymus.

4. Koreguokite parametrus ir eksperimentuokite: Daugumoje programų galite keisti maksimalų žetonų skaičių (tai riboja atsakymų ilgį), taip pat kitas detales, pvz., temperatūrą, top_p ir kt. Išbandykite skirtingus nustatymus, kol rasite jums tinkamą greičio ir rezultatų kokybės pusiausvyrą.

5. Tvarkykite ir tinkinkite gijas: Daugelyje programų galima kurti pokalbių gijas su skirtingais pavadinimais ir tikslais (vaizdo įrašų idėjos, kūrybinis rašymas, pagalba programuojant ir kt.), taip pat galite išsaugoti pasirinktines instrukcijas kiekvienai gijai, o tai supaprastina sąveiką.

Išteklių valdymas ir našumo optimizavimas

Pagrindinis vietinio dirbtinio intelekto apribojimas yra aparatinė įranga: Kai modelis yra per didelis jūsų RAM, gali sulėtėti veikimas, įvykti gedimų ar net vykdymo klaidų. Geriausios programėlės iš anksto įspėja, kai pasirenkate per sunkų modelį savo įrenginiui.

„Jan AI“ pasižymi tuo, kad integruoja ekrane rodomą išteklių stebėjimo funkciją. kuris realiuoju laiku rodo RAM, CPU sunaudojimą ir apdorojimo greitį (žetonų per sekundę). Tokiu būdu visada galite žinoti, ar jūsų komanda pasiekė savo galimybių ribą, ar vis dar galite iš jos išspausti daugiau.

Jei jūsų kompiuteryje yra „Nvidia“ vaizdo plokštė ir norite ja pasinaudoti, Kai kurios programos leidžia spartinti GPU įdiegdamos CUDA. Tai gali daug kartų padidinti greitį atliekant sudėtingas užduotis. Visada žr. oficialią dokumentaciją, kad tinkamai įdiegtumėte ir įjungtumėte GPU palaikymą.

Kiekybinio įvertinimo privalumai: lengvesni ir efektyvesni modeliai

Kalbant apie vietinį dirbtinį intelektą, dažnai vartojamas terminas „kvantavimas“. Tai reiškia modelio svorių saugojimo tikslumo sumažinimą, konvertuojant juos į skaičius su mažesniu bitų skaičiumi, o tai smarkiai sumažina modelio disko ir atminties dydį, minimaliai paveikiant atsakymo kokybę.

Dauguma atsisiunčiamų modelių jau yra kvantuoti įvairiomis versijomis (4 bitų, 8 bitų ir kt.). Jei norimas modelis egzistuoja tik „pilnoje“ versijoje ir jūsų komanda negali jo perkelti, yra programų, kurios leidžia jums patiems jį kiekybiškai įvertinti (pavyzdžiui, GPTQ).

Ši technika leidžia paleisti galingus modelius senesniuose arba ribotų išteklių kompiuteriuose, išlaikant privatumą ir nepriklausomybę nuo debesijos.

Geriausių vietinių dirbtinio intelekto įrankių palyginimas: GPT4All ir Jan AI

Abi programos siūlo viską, ko reikia, kad jūsų kompiuteris taptų galingu dirbtinio intelekto centru, tačiau kiekviena turi savo unikalių funkcijų, kurios gali padėti jums pasirinkti vieną ar kitą, atsižvelgiant į jūsų pageidavimus.

• Lengva naudoti: GPT4All Tai labai paprasta, diegimas greitas, o modelių atsisiuntimas atliekamas per aiškią ir patogią naudoti sąsają. Kita vertus, „Jan AI“ siūlo pažangesnį pokalbių organizavimą ir galimybę dar labiau pritaikyti instrukcijas bei darbo eigas.
• Suderinamumas: Abu palaiko „Windows“, „Mac“ ir „Linux“. „Jan AI“ tiesiogiai integruojasi su kitomis programomis per vietinę API.
• Išteklių stebėsena: „Jan AI“ teikia realaus laiko išteklių suvartojimo ataskaitų suvestinę, kuri naudinga komandoms su apribojimais. „GPT4All“ praneša apie minimalius reikalavimus ir įspėja, jei jūsų aparatinė įranga gali neatitikti reikalavimų.
• Plėtiniai: „Jan“ leidžia įdiegti plėtinius, kurie praplečia funkcionalumą (pavyzdžiui, jau minėtą išteklių monitorių), kurio nėra „GPT4All“.

Mano rekomendacija – išbandyti abu ir pažiūrėti, kuris geriausiai tinka jūsų darbo eigai ir komandai.

Trikčių šalinimas ir DUK

Atsisiunčiant ir diegiant dirbtinio intelekto modelius, dažnai kyla tam tikrų iššūkių, ypač kai dirbama su dideliais failais arba komandoje yra riboti ištekliai. Viena iš dažniausiai pasitaikančių klaidų yra nesugebėjimas gauti. Tokiais atvejais pravartu patikrinti ryšį, atlaisvinti vietos diske arba paleisti programą iš naujo. Kiekvienos programos palaikymo bendruomenės, taip pat jų oficialios vikiai ar forumai dažnai teikia nuoseklius sprendimus.

Kalbant apie saugumą, vietinio dirbtinio intelekto naudojimas yra daug skaidresnis nei sąveika su nuotolinėmis paslaugomis. Jūsų duomenys ir pokalbių istorija lieka jūsų įrenginyje ir nėra naudojami išoriniams algoritmams mokyti. Tačiau atsargumo sumetimais rekomenduojama nebendrinti neskelbtinos informacijos jokiose dirbtinio intelekto programose, net ir lokaliai.

O jeigu reikia dar didesnio našumo? Jei galite sau leisti RAM atnaujinimą (16 arba 32 GB) arba modernų grafikos procesorių, didesni modeliai veiks sklandžiau ir galėsite eksperimentuoti su pažangiomis funkcijomis, tokiomis kaip daugiamodalinė sąveika (tekstas, vaizdas, balsas). Priešingu atveju yra lengvų, labai optimizuotų modelių, kurie labai gerai atlieka daugumą kasdienių užduočių.

Patirtis visiškai neprisijungus: Atsisiuntus modelius, programa veikia be interneto ryšio, taip maksimaliai padidindama privatumą ir leisdama dirbti bet kokiomis aplinkybėmis.

Nuolat besivystanti vietinė dirbtinio intelekto ekosistema

Dabartiniai vietiniai dirbtinio intelekto sprendimai kompiuteriams pasiekė tokį brandos lygį, kad dabar jie yra patikima alternatyva debesijos paslaugoms. Didžiulis modelių pasirinkimas, paprastas diegimas ir pritaikymo galimybės demokratizuoja prieigą prie pažangiausio dirbtinio intelekto.

Tokios įmonės kaip „Google“ ir „Microsoft“ taip pat prisideda per centralizuotas platformas (pvz., „AI Hub“ arba „Copilot“ sistemoje „Windows“), tačiau tikrasis vietinio dirbtinio intelekto potencialas slypi tame, kad Galite pritaikyti savo pasirinktinį centrą prie konkrečių darbo eigų, privatumo ir tikslų..

Žinodami, kad esate aiškus dirbtinio intelekto vartotojas, siūlome pradėti mokytis dar daugiau ir pasinaudoti „ChatGPT“ bei kitų galimybėmis, nes, pavyzdžiui, dabar galite turėti kainų palyginimas „ChatGPT“.

Dabar jūsų žinioje yra įrankiai, vadovai ir gudrybės, reikalingos norint paversti savo kompiuterį tikru dirbtinio intelekto centru. Pakelkime inovacijas ir absoliučią savo informacijos kontrolę į kitą lygį. Tikimės, kad dabar žinote, kaip naudoti savo kompiuterį kaip vietinį dirbtinio intelekto centrą.