Kuidas kasutada oma arvutit kohaliku tehisintellekti keskusena: praktiline ja võrdlev juhend

¿Kuidas kasutada oma arvutit kohaliku tehisintellekti keskusena? Tehisintellekt ei ole enam ainult suurkorporatsioonide või pilveteenuste ekspertide pärusmaa. Üha rohkem kasutajaid otsib tehisintellekti lahendusi otse oma personaalarvutitest, et täita ülesandeid alates teksti genereerimisest kuni loominguliste või tehniliste protsesside automatiseerimiseni, seda kõike maksimaalse privaatsusega ja ilma välistele serveritele toetumata. Muutke oma arvuti kohalikuks tehisintellekti keskuseks See on taskukohane reaalsus ja kättesaadav peaaegu igale entusiastile, professionaalile või õpilasele, isegi kui teie seadmed pole tipptasemel.

Selles artiklis saate teada, kuidas muuta oma arvuti oma tehisintellekti ökosüsteemi tuumaks. Vaatleme enim soovitatud tarkvaraalternatiive, riistvara, mudelite ja funktsioonidega seotud peamisi kaalutlusi ning kohaliku tehisintellektiga töötamise eeliseid nii privaatsuse kui ka isikupärastamise osas. Lisaks juhendan sind LLM-mudelite, rakenduste ja ressursside valimise, installimise ja nende maksimaalse ärakasutamise protsessis, võrdlen parimaid programme ning pakun näpunäiteid, kuidas muuta tehisintellekti kogemus sujuvaks ja turvaliseks nii Windowsi, Maci kui ka Linuxi operatsioonisüsteemides.

Miks kasutada oma arvutit kohaliku tehisintellekti keskusena?

Arvuti kasutamine keskse tehisintellekti platvormina pakub eeliseid, mida on pilveteenustega raske võrrelda. Üks olulisemaid põhjuseid on privaatsus: kui suhtlete pilves vestlusrobotitega, salvestatakse teie andmed ja päringud kolmandate osapoolte serveritesse ning kuigi ettevõtted rakendavad turvameetmeid, Lekke või väärkasutuse oht on alati olemas. Teabe lokaalne töötlemine tähendab, et teil on oma andmete üle täielik kontroll. Kellelgi teisel pole juurdepääsu teie küsimustele, vastustele ega failidele.

Teine ​​suur eelis on internetiühenduse nõuete puudumine. Kohapealse süsteemiga saate tehisintellekti funktsioone nautida isegi siis, kui teil on ebastabiilne ühendus, elate halva levialaga piirkonnas või soovite turvakaalutlustel lihtsalt võrguühenduseta töötada. Lisaks on kohandamisvõimalused palju suuremad: Saate valida endale sobivaima mudeli, kohandada seda vastavalt oma vajadustele ja peenhäälestada iga parameetrit – see on konserveeritud pilveteenuste puhul harva võimalik.

Mitte vähem oluline pole ka majanduslik aspekt. Kuigi pilveteenused pakuvad tasuta versioone, hõlmab edasijõudnutele mõeldud kasutamine tellimusi, žetoonmakseid või ressursside tarbimist. Lokaalselt töötades on ainsaks piiranguks teie riistvara maht.

Mida on vaja alustamiseks? Riistvara ja põhinõuded

Üldine arusaam, et tehisintellektiga töötamiseks on vaja tipptasemel arvuteid või ülivõimsaid graafikaprotsessoreid, on nüüd minevik. Praegused keelemudelid on optimeeritud koduarvutites töötamiseks ja paljud neist, eriti kvantiseeritud, saab töötada ka ilma eraldi graafikakaardita, kasutades ainult protsessorit.

Sujuva töö ja meeldiva kogemuse tagamiseks on soovitatav omada vähemalt 8–16 GB muutmälu. ja mõistlikult kaasaegne protsessor (kuuenda põlvkonna Core i5 või i7 või Ryzeni ekvivalendid). Kui töötate suuremate mudelitega või soovite kiiremat jõudlust, on 4 GB videomäluga graafikaprotsessor oluline, eriti selliste ülesannete puhul nagu piltide genereerimine või väga pikad tekstivastused.

Macides toetavad Apple M1 kiibid ja uuemad versioonid ka kohalikke LLM-mudeleid, millel on väga hea reageerimisaeg. Lühidalt, kui teie arvuti või sülearvuti on alla seitsme aasta vana, võite tõenäoliselt hakata kohaliku tehisintellektiga katsetama.

Milliseid rakendusi ja platvorme on vaja, et muuta oma arvuti kohalikuks tehisintellekti keskuseks?

Teie kohaliku tehisintellekti süsteemi südameks on spetsiaalsed rakendused, mis ühendavad teie riistvara ja tehisintellekti mudelid. Kasutusmugavuse, võimsuse ja paindlikkuse poolest väärib märkimist järgmiste seas:

• GPT4All: Üks populaarsemaid ja sõbralikumaid valikuid. See võimaldab teil alla laadida ja installida hulgaliselt keelemudeleid, nendega suhelda ja erinevaid parameetreid konfigureerida. See on platvormideülene (Windows, Mac ja Linux) ning selle installiprotsess on sama lihtne kui iga teise töölauaprogrammi puhul.
• Jaanuar AI: See paistab silma oma moodsa liidese, vestluslõimede korraldamise võimaluse ja ühilduvuse poolest nii kohalike kui ka kaugmudelitega (näiteks OpenAI-st API kaudu). Lisaks pakub see oma kohalikku API-t, mis emuleerib OpenAI-sid, võimaldades Jani integreerida tehisintellekti taustaprogrammina teistesse rakendustesse, mis vajavad ChatGPT API-võtit, kuid ilma internetist sõltumata.
• Llama.cpp ja LM Studio: Need tööriistad võimaldavad teil LLM-mudeleid lokaalselt käitada ja pakuvad juurdepääsu Hugging Face'i ja teiste repositooriumide ulatuslikule mudelite kogule.

Põhiprotseduur on tavaliselt järgmine: Laadige valitud rakendus alla selle ametlikult veebisaidilt, installige see oma süsteemi ja sirvige saadaolevate mallide galeriid (sageli nimetatakse neid „The Hub” või sarnaseks). Seal saate valida soovitud mudeli, kontrollida selle suurust ja mälunõudeid ning alla laadida kõik liidesest endast.

Parimad tehisintellekti mudelid, mida kohapeal installida

Avatud lähtekoodiga LLM-mudelite maailm on tohutu ja pidevalt kasvav. Lisaks OpenAI pakutavatele (mis vajavad pilveühendust) on palju alternatiive, mis on valmis lokaalselt töötama: muuhulgas Mistral 7B, TinyLlama Chat, Nous Hermes 2, Mixol 8X 7B. Paljud neist mudelitest on kvantiseeritud, mis tähendab, et nad võtavad vähem ruumi ja vajavad vähem muutmälu, ohverdades samal ajal väikese täpsuse.

Algajatele Soovitatav on kasutada väikeseid ja keskmise suurusega mudeleid, näiteks Mistro Instruct 7B või TinyLlama Chat, kuna need tühjenevad kiiresti ega koorma süsteemi üle. Kui teie arvutis on rohkem muutmälu ja salvestusruumi, proovige näiteks täiuslikumaid mudeleid nagu Mixol 8X 7B, teades, et see võib vajada kuni 26 GB kettaruumi ainuüksi mudeli jaoks.

Peaaegu kõigis rakendustes saab mudeleid filtreerida nende suuruse, põhikeele, litsentside või ülesannete tüübi järgi, milleks neid on treenitud. (teksti kirjutamine, koodi genereerimine, tõlkimine jne). Mida täpsem on mudeli eesmärk, seda täpsemaid tulemusi saate.

Samm-sammult juhend kohaliku tehisintellekti installimiseks ja kasutamiseks

1. Laadige alla ja installige rakendus: Mine oma eelistatud tööriista (nt GPT4All või Jan AI) ametlikule veebisaidile, laadi alla oma operatsioonisüsteemi installiprogramm ja järgi ekraanil kuvatavaid samme. Windowsis on see tavaliselt klassikaline viisard; Macis võib M1/M2 protsessoriga arvutites olla vajalik Rosetta lubamine; Linuxis on saadaval DEB- või AppImage-paketid.

2. Avastage ja laadige alla tehisintellekti mudeleid: Kui olete rakenduse avanud, avage mudeliuurija (GPT4Allis on see „Discovery Model Space“, Jan AI-s „The Hub“). Filtreeri, vaata üle funktsioonid ja kui leiad endale kõige meeldivama mudeli, klõpsa nupul „Laadi alla“. Enne jätkamist teavitatakse teid suurusest ja nõuetest.

3. Valik ja esmakordne teostus: Kui mall on alla laaditud, vali see rakenduses ja alusta uut vestlust või ülesannet. Kirjutage oma päring või taotlus ja oodake vastust. Kui märkate aeglast reageerimist, proovige kasutada kergemaid mudeleid või kohandage seadeid.

4. Reguleerige parameetreid ja katsetage: Enamikus programmides saab muuta maksimaalset lubade arvu (mis piirab vastuste pikkust) ja muid üksikasju, näiteks temperatuuri, top_p väärtust jne. Proovige erinevaid sätteid, kuni leiate endale sobiva tasakaalu kiiruse ja tulemuste kvaliteedi vahel.

5. Teemade korraldamine ja kohandamine: Paljud programmid võimaldavad teil luua erinevate nimede ja eesmärkidega vestlusteemasid (videoideed, loominguline kirjutamine, abi kodeerimisel jne) ning saate iga teema jaoks salvestada ka kohandatud juhiseid, mis sujuvamaks muudab suhtluse.

Ressursside haldamine ja jõudluse optimeerimine

Kohaliku tehisintellekti peamine piirang on riistvara: Kui mudel on teie muutmälu jaoks liiga suur, võivad esineda aeglustused, krahhid või isegi täitmisvead. Parimad rakendused pakuvad eelnevaid hoiatusi, kui valite oma seadme jaoks liiga raske mudeli.

Jan AI paistab silma ekraanil kuvatava ressursimonitori integreerimisega mis näitab reaalajas RAM-i, protsessori ja töötlemiskiiruse (tokenid sekundis) tarbimist. Nii saad alati teada, kas su meeskond on oma võimete piiril või kas saad sellest veel rohkem välja pigistada.

Kui teie arvutil on Nvidia graafikakaart ja soovite seda ära kasutada, Mõned rakendused lubavad GPU kiirendust CUDA installimise teel. See võib rasketes ülesannetes kiirust mitmekordistada. GPU toe korrektseks installimiseks ja lubamiseks vaadake alati ametlikku dokumentatsiooni.

Kvantifitseerimise eelised: kergemad ja tõhusamad mudelid

Kohaliku tehisintellekti puhul on levinud termin „kvantimine”. See hõlmab mudeli kaalude salvestamise täpsuse vähendamist, teisendades need vähemate bittidega numbriteks, mis vähendab drastiliselt mudeli ketta ja mälu mahtu, avaldades minimaalset mõju vastuse kvaliteedile.

Enamik allalaaditavaid mudeleid on juba erinevates versioonides kvantiseeritud (4-bitised, 8-bitised jne). Kui soovitud mudel eksisteerib ainult täisversioonis ja teie meeskond ei saa seda teisaldada, on olemas rakendused, mis võimaldavad teil seda ise kvantifitseerida (näiteks GPTQ).

See tehnika võimaldab võimsate mudelite käitamist vanematel või ressursipiiranguga arvutitel, säilitades samal ajal privaatsuse ja sõltumatuse pilvest.

Parimate kohalike tehisintellekti tööriistade võrdlus: GPT4All vs. Jan AI

Mõlemad rakendused pakuvad kõike, mida vajate oma arvuti võimsaks tehisintellekti keskuseks muutmiseks, kuid mõlemal on oma unikaalsed funktsioonid, mis võivad aidata teil valida ühe või teise vastavalt oma eelistustele.

• Kasutusmugavus: GPT4Kõik See on väga lihtne, paigaldamine on kiire ja mudelite allalaadimine toimub selge ja kasutajasõbraliku liidese kaudu. Jan AI seevastu pakub täiustatud vestluste korraldust ja võimalust juhiseid ja töövooge veelgi kohandada.
• Ühilduvus: Mõlemad toetavad Windowsi, Maci ja Linuxit. Jan AI lisab oma kohaliku API kaudu otsese integratsiooni teiste rakendustega.
• Ressursside jälgimine: Jan AI pakub reaalajas ressursikasutuse armatuurlauda, ​​mis on kasulik piirangutega meeskondadele. GPT4All annab teada miinimumnõuded ja hoiatab, kui teie riistvara võib puududa.
• Laiendused: Jan võimaldab teil installida laiendusi, mis laiendavad funktsionaalsust (näiteks eelmainitud ressursimonitor), mida GPT4Allis pole.

Minu soovitus on proovida mõlemat ja vaadata, milline neist sobib teie töövoogudele ja meeskonnale kõige paremini.

Veaotsing ja KKK

Tehisintellekti mudelite allalaadimisel ja installimisel on tavaline kokku puutuda mõningate probleemidega, eriti suurte failide või meeskonna piiratud ressursside korral. Üks levinumaid vigu on toomise ebaõnnestumine. Sellistel juhtudel on hea mõte kontrollida ühendust, vabastada kettaruumi või taaskäivitada rakendus. Iga programmi tugikogukonnad, aga ka ametlikud vikid või foorumid pakuvad sageli samm-sammult lahendusi.

Turvalisuse seisukohast on kohaliku tehisintellekti kasutamine palju läbipaistvam kui kaugteenustega suhtlemine. Teie andmed ja vestluste ajalugu jäävad teie seadmesse ja neid ei kasutata väliste algoritmide treenimiseks. Ettevaatusabinõuna on siiski soovitatav tundlikku teavet mitte jagada üheski tehisintellekti rakenduses, isegi mitte lokaalselt.

Mis siis, kui vajate veelgi suuremat jõudlust? Kui saate endale lubada RAM-i täiendust (16 või 32 GB) või moodsat graafikakaarti, töötavad suuremad mudelid sujuvamalt ja saate katsetada täiustatud funktsioone, näiteks multimodaalset interaktsiooni (tekst, pilt, hääl). Vastasel juhul on olemas kerged, väga optimeeritud mudelid, mis toimivad enamiku igapäevaste ülesannete puhul väga hästi.

Kogemus on täiesti võrguühenduseta: Kui mudelid on alla laaditud, töötab rakendus ilma internetiühenduseta, maksimeerides privaatsust ja võimaldades teil töötada igas olukorras.

Pidevalt arenev kohalik tehisintellekti ökosüsteem

Praegused arvutitele mõeldud kohalikud tehisintellekti lahendused on jõudnud küpsusastmeni, mis teeb neist nüüd kindla alternatiivi pilveteenustele. Mudelite tohutu valik, paigaldamise lihtsus ja kohandamisvõimalused demokratiseerivad juurdepääsu tipptasemel tehisintellektile.

Ettevõtted nagu Google ja Microsoft panustavad samuti oma panuse tsentraliseeritud platvormide kaudu (nt AI Hub või Copilot Windowsis), kuid kohaliku tehisintellekti tegelik potentsiaal seisneb selles, et Saate oma kohandatud keskust oma töövoogude, privaatsuse ja eesmärkide järgi kohandada..

Teades, et oled selge tehisintellekti kasutaja, soovitame sul hakata veelgi rohkem õppima ja ära kasutama ChatGPT ja teiste võimalusi, kuna näiteks saad nüüd omada hinnavõrdlus ChatGPT-s.

Nüüd on teie käsutuses tööriistad, juhendid ja nipid, mis on vajalikud teie arvuti muutmiseks tõeliseks tehisintellekti keskuseks. Viib innovatsiooni ja oma teabe üle täieliku kontrolli uuele tasemele. Loodame, et teate nüüd, kuidas oma arvutit kohaliku tehisintellekti keskusena kasutada.