Kaip žingsnis po žingsnio įdiegti „Gemma 3 LLM“ sistemoje „Windows 11“.

Atvirojo kodo kalbų modeliai vystėsi nepaprastai greitai ir Šiandien jomis galima mėgautis tiesiai iš asmeninio kompiuterio, neatsižvelgiant į debesijos paslaugas.. Vienas iš perspektyviausių šiuo metu yra Gemma 3, naujasis Google LLM, pagrįstas Gemini technologija, kuris išsiskiria gebėjimu apdoroti tekstą ir vaizdus, ​​taip pat didžiuliu konteksto langu iki 128 XNUMX žetonų pažangiose versijose. Norėdami gauti daugiau informacijos apie šį leidimą, galite perskaityti mūsų straipsnį apie „Gemma 3“ pristatymas.

Jei naudojate „Windows 11“ ir norite įdiegti „Gemma 3“ eksperimentams ar net vietinei gamybai, jūs atėjote į reikiamą vietą. Išsamiai apžvelgsime visus įmanomus būdus, kaip jį įdiegti ir paleisti kompiuteryje, įskaitant dažniausiai rekomenduojamas parinktis, pvz., „Ollama“, „LM Studio“, taip pat debesyje pagrįstą „Google AI Studio“ alternatyvą. Be to, aptarsime techninius reikalavimus, kiekvieno metodo privalumus ir Kaip maksimaliai išnaudoti šio galingo dirbtinio intelekto potencialą.

Kas yra Gemma 3 ir kodėl jį įdiegti?

„Gemma 3“ yra trečios kartos LLM modeliai, kuriuos „Google“ išleido pagal atvirojo kodo licenciją.. Skirtingai nuo ankstesnių sprendimų, tokių kaip „Llama“ ar „Mistral“, jis siūlo tiesioginį vaizdo įvesties palaikymą, daug platesnį kontekstą ir palaikymą daugiau nei 140 kalbų. Priklausomai nuo jūsų poreikių, galite rinktis iš kelių modelio versijų nuo 1B iki 27B parametrų:

• Gemma 3:1B: lengvas modelis, idealiai tinkantis pagrindinėms užduotims ir ribotų išteklių aplinkoje.
• Gemma 3:4B: našumo ir efektyvumo subalansavimas tarpiniams pritaikymams.
• Gemma 3:12B: Rekomenduojama sudėtingai analizei, programavimui ir daugiakalbiui apdorojimui.
• Gemma 3:27B: pati galingiausia parinktis, skirta intensyviam, įvairiarūšiam naudojimui, pasižyminti dideliu kontekstiniu pajėgumu.

Galimybė paleisti tokį pažangų modelį iš savo kompiuterio Tai keičia žaidimo taisykles, susijusias su privatumu, atsako greičiu ir priklausomybe nuo trečiųjų šalių. Jums nebereikia mokėti už mėnesinius abonementus ar atsisakyti savo duomenų. Tereikia šiek tiek pasiruošimo ir noro mokytis. Jei norite sužinoti daugiau apie šių modelių pranašumus, peržiūrėkite mūsų straipsnį atviro svorio AI modeliai.

1 variantas: montavimas naudojant Ollama

„Ollama“ yra turbūt lengviausias būdas paleisti LLM, pvz., „Gemma 3“ iš „Windows 11“.. Jo terminalo sąsaja leidžia įdiegti ir paleisti modelius naudojant paprastą komandinę eilutę. Be to, jis suderinamas su „MacOS“, „Linux“ ir „Windows“, todėl jį lengva naudoti įvairiose aplinkose.

„Ollama“ diegimo ir „Gemma 3“ paleidimo veiksmai:

1. Prisijunkite prie oficialios svetainės: ollama.com.
2. Atsisiųskite diegimo programą, skirtą „Windows“. ir paleiskite ją kaip bet kurią kitą programą.
3. Atidarykite komandų eilutę (CMD) arba „PowerShell“ ir patikrinkite diegimą naudodami:

ollama --version

Jei viskas gerai, dabar galite atsisiųsti bet kurį iš galimų „Gemma 3“ šablonų. Tiesiog paleiskite vieną iš šių komandų, atsižvelgdami į norimą šabloną:

ollama run gemma3:1b
ollama run gemma3:4b
ollama run gemma3:12b
ollama run gemma3:27b

Atsisiuntę galite lengvai paleisti modelį.. Norėdami tai padaryti, paleiskite:

ollama init gemma3

Nuo to momento galite pradėti bendrauti su LLM:

ollama query gemma3 "¿Cuál es la capital de Japón?"

Jei norite pasinaudoti multimodalinėmis funkcijomis, taip pat galite naudoti vaizdus savo užklausose:

ollama query gemma3 --image "ruta-de-la-imagen.jpg"

Ko reikia, kad jis gerai veiktų? Nors „Ollama“ nekelia griežtų minimalių reikalavimų, didesniems modeliams (pvz., 27B) reikia bent 32 GB RAM. Su 16 GB galite dirbti be problemų su 7B modeliu, ir nors GPU naudojimas nėra privalomas, jis labai padeda greičiui.

2 parinktis: naudokite LM Studio

LM Studio yra dar vienas nemokamas įrankis, leidžiantis įdiegti ir paleisti LLM modelius vietoje iš grafinės sąsajos.. Jis suderinamas su „Windows“, „MacOS“ ir „Linux“, o jo didelis privalumas yra tai, kad jo veikimui nereikia techninių žinių.

Instrukcijos:

1. Atsisiųskite „LM Studio“ iš oficialios svetainės: lmstudio.ai.
2. Įdiekite ir paleiskite.
3. Spustelėkite didinamojo stiklo piktogramą, kuri sako „Atrask“.
4. Į paieškos variklį įveskite „Gemma 3“, kad pamatytumėte galimus modelius.

Prieš montuodami patikrinkite, ar modelis suderinamas su jūsų įranga. Jei matote įspėjimą „Tikriausiai per didelis šiam įrenginiui“, vis tiek galite jį įdiegti, tačiau optimalus veikimas negarantuojamas.

Atsisiuntę suderinamą modelį:

• Spustelėkite „Įkelti modelį“, kad jį įkeltumėte.
• Arba atidarykite naują pokalbį ir išskleidžiamajame meniu pasirinkite modelį.

Geriausias „LM Studio“ dalykas yra tai, kad ji veikia kaip vietinis „ChatGPT“ neprisijungus ir jūsų kalba. Jei norite, galite sukurti kelis pokalbius ir išsaugoti pokalbius. Be to, jei įgalinsite parinktį „Vietinis serveris“, galėsite integruoti ją su savo Python programomis naudodami su OpenAI suderinamą API.

3 parinktis: naudokite „Google AI Studio“ (internete)

Jei nieko negalite arba nenorite įdiegti, galite naudoti „Gemma 3“ tiesiai iš debesies naudodami „Google AI Studio“. Diegimas nereikalingas, tačiau reikalingas interneto ryšys ir Google paskyra.

Jūs tiesiog turite eiti į aistudio.google.com ir modelių sąraše pasirinkite „Gemma 3“. Nuo to momento galite pradėti kalbėtis su modeliu taip, lyg tai būtų pažangi Bard arba ChatGPT versija, įskaitant vaizdo įvestį.

Debesų diegimas naudojant „NodeShift“ (pasirinktinai)

Ieškantiems daugiau galios arba profesionaliai pritaikyti modelį, yra galimybė naudoti debesies paslaugas, pvz., „NodeShift“. Su jais galite išsinuomoti įrenginius su galingais GPU ir sukonfigūruoti idealią aplinką, kad galėtumėte be apribojimų paleisti Gemma 3.

Pagrindiniai „NodeShift“ veiksmai:

1. Sukurkite paskyrą adresu app.nodeshift.com.
2. Paleiskite tinkintą GPU mazgą (pvz., su 2x RTX 4090).
3. Pasirinkite iš anksto sukonfigūruotą vaizdą naudodami Ubuntu + Nvidia CUDA arba Jupyter Notebook, priklausomai nuo to, ar naudosite „Ollama“, ar „Transformers“.
4. Prisijunkite per SSH ir įdiekite modelį iš komandinės eilutės.

Šio tipo diegimas suteikia prieigą prie profesionalių konfigūracijų, puikiai tinka mokymo modeliams, našumo vertinimui ir pan. Nors tai nėra būtina namų vartotojams, ji naudinga tiems, kurie nori nuodugniai eksperimentuoti arba kurti programas pažangiuose LLM.

Sistemos reikalavimai ir techninės rekomendacijos

Ne visi „Gemma 3“ modeliai veiks bet kuriame kompiuteryje. Toliau pateikiame jums bendrą nuorodą pagal modelio tipą:

• į modeliai nuo 1B iki 7B: minimumas 8 GB RAM. Jie veikia beveik bet kuriame šiuolaikiniame kompiuteryje, net ir be GPU.
• į 13B modeliai: rekomenduojami Nuo 16 GB iki 24 GB RAM.
• į 27B modeliai: reikalingi bent 32 GB RAM ir pageidautina specialų GPU.

Turint daugiau RAM, darbas pagreitėja ir išvengiama klaidų dėl atminties trūkumo. Nors „Ollama“ ir „LM Studio“ stengiasi efektyviai naudoti išteklius, tai labai priklausys nuo jūsų aparatinės įrangos. Be to, atsako greitis žymiai pagerėja, jei vietoj procesoriaus naudojamas GPU.

Įdiegti „Gemma 3“ sistemoje „Windows 11“ yra lengviau, nei atrodo.. Nesvarbu, ar nuspręsite naudoti „Ollama“ dėl jos paprastumo, „LM Studio“ dėl grafinės sąsajos, ar „Google AI Studio“, kad galėtumėte saugiai žaisti debesyje. Svarbu tai, kad kiekvienas metodas prisitaiko prie skirtingo patirties ir techninių galimybių lygio. Dabar, kai žinote visas galimybes ir ko jums reikia norint pradėti, šiandien galite pradėti eksperimentuoti su šiuo įspūdingu vietiniu dirbtiniu intelektu.