Kako namestiti Gemma 3 LLM v Windows 11 korak za korakom

Odprtokodni jezikovni modeli so se razvijali skokovito in Danes jih je mogoče uživati ​​neposredno iz osebnega računalnika brez odvisnosti od storitev v oblaku.. Eden najbolj obetavnih trenutno je Gemma 3, Googlov novi LLM, ki temelji na tehnologiji Gemini, ki izstopa po svoji zmožnosti obdelave besedila in slik, kot tudi po svojem ogromnem kontekstualnem oknu do 128k žetonov v naprednih različicah. Za več informacij o tej izdaji si lahko ogledate naš članek o predstavitev Gemme 3.

Če uporabljate Windows 11 in želite namestiti Gemmo 3 za eksperimentiranje ali celo lokalno proizvodnjo, prišli ste na pravo mesto. Oglejmo si podrobno vse možne načine, kako ga zagnati in zagnati v vašem računalniku, vključno z najbolj priporočenimi možnostmi, kot so Ollama, LM Studio, in tudi alternativo v oblaku z Google AI Studio. Poleg tega bomo obravnavali tehnične zahteve, prednosti posamezne metode in Kako kar najbolje izkoristiti potencial te zmogljive umetne inteligence.

Kaj je Gemma 3 in zakaj jo namestiti?

Gemma 3 je tretja generacija modelov LLM, ki jih je Google izdal pod odprtokodno licenco.. Za razliko od prejšnjih rešitev, kot sta Llama ali Mistral, ponuja neposredno podporo za vnos slike, veliko širši kontekst in podporo za več kot 140 jezikov. Glede na vaše potrebe lahko izbirate med več različicami modela v razponu parametrov od 1B do 27B:

• Gema 3:1B: Lahek model, idealen za osnovne naloge in okolja z omejenimi viri.
• Gema 3:4B: Uravnoteženje zmogljivosti in učinkovitosti za vmesne aplikacije.
• Gema 3:12B: Priporočljivo za kompleksno analizo, programiranje in večjezično obdelavo.
• Gema 3:27B: Najmočnejša možnost, zasnovana za intenzivno, multimodalno uporabo z veliko kontekstualno zmogljivostjo.

Možnost zagona tako naprednega modela iz osebnega računalnika Spreminja pravila igre glede zasebnosti, hitrosti odziva in odvisnosti od tretjih oseb. Ni vam več treba plačevati mesečnih naročnin ali se odpovedati svojim podatkom. Vse, kar je potrebno, je malo priprave in želja po učenju. Če želite izvedeti več o prednostih teh modelov, si oglejte naš članek o odprti modeli AI.

1. možnost: namestitev z Ollamo

Ollama je verjetno najlažji način za zagon LLM, kot je Gemma 3, iz sistema Windows 11. Njegov terminalski vmesnik vam omogoča namestitev in zagon modelov s preprosto ukazno vrstico. Poleg tega je združljiv z macOS, Linux in Windows, zaradi česar je enostaven za uporabo v različnih okoljih.

Koraki za namestitev Ollame in zagon Gemme 3:

1. Dostop do uradne spletne strani: ollama.com.
2. Prenesite namestitveni program za Windows in ga zaženite kot vsak drug program.
3. Odprite ukazni poziv (CMD) ali PowerShell in preverite namestitev z:

ollama --version

Če bo vse v redu, lahko zdaj prenesete katero koli od razpoložljivih predlog Gemma 3. Preprosto zaženite enega od teh ukazov, odvisno od predloge, ki jo želite:

ollama run gemma3:1b
ollama run gemma3:4b
ollama run gemma3:12b
ollama run gemma3:27b

Ko ga prenesete, lahko preprosto zaženete model.. Če želite to narediti, zaženite:

ollama init gemma3

Od tega trenutka naprej lahko začnete sodelovati z LLM tako, da:

ollama query gemma3 "¿Cuál es la capital de Japón?"

Če želite izkoristiti multimodalne funkcije, lahko v svojih poizvedbah uporabite tudi slike:

ollama query gemma3 --image "ruta-de-la-imagen.jpg"

Kaj potrebujete, da bo dobro delovalo? Čeprav Ollama ne nalaga strogih minimalnih zahtev, večji modeli (kot je 27B) zahtevajo vsaj 32 GB RAM-a. S 16GB lahko brez težav delate z modelom 7B in čeprav uporaba GPE-ja ni obvezna, zelo pripomore k hitrosti.

Možnost 2: Uporabite LM Studio

LM Studio je še eno brezplačno orodje, ki vam omogoča lokalno namestitev in zagon modelov LLM iz grafičnega vmesnika.. Združljiv je z Windows, macOS in Linux, njegova velika prednost pa je, da za delovanje ne potrebuje tehničnega znanja.

Navodila:

1. Prenesite LM Studio z uradne spletne strani: lmstudio.ai.
2. Namestite in zaženite.
3. Kliknite ikono povečevalnega stekla z napisom »Odkrij«.
4. V iskalnik vnesite “Gemma 3” in si oglejte razpoložljive modele.

Pred namestitvijo preverite, ali je model združljiv z vašo opremo. Če vidite opozorilo »Verjetno preveliko za ta stroj,« ga lahko še vedno namestite, vendar optimalna zmogljivost ni zagotovljena.

Ko je združljiv model prenesen:

• Pritisnite "Naloži model", da ga naložite.
• Ali pa odprite nov klepet in v spustnem meniju izberite model.

Najboljša stvar pri LM Studio je, da deluje kot nekakšen lokalni ChatGPT, brez povezave in v vašem jeziku. Če želite, lahko ustvarite več klepetov in shranite pogovore. Poleg tega, če omogočite možnost »Lokalni strežnik«, jo lahko integrirate s svojimi aplikacijami Python z uporabo API-ja, združljivega z OpenAI.

3. možnost: uporabite Google AI Studio (na spletu)

Če ne morete ali ne želite ničesar namestiti, lahko uporabite Gemma 3 neposredno iz oblaka z Google AI Studio. Namestitev ni potrebna, potrebna pa je internetna povezava in Google račun.

Samo iti moraš na aistudio.google.com in na seznamu modelov izberite »Gemma 3«. Od tega trenutka naprej lahko začnete klepetati z modelom, kot da bi šlo za napredno različico Barda ali ChatGPT, vključno z vnosom slike.

Namestitev v oblaku z NodeShift (izbirno)

Za tiste, ki iščejo več moči ali želijo profesionalno uporabiti model, obstaja možnost uporabe storitev v oblaku, kot je NodeShift. Z njimi lahko najamete stroje z zmogljivimi grafičnimi procesorji in konfigurirate svoje idealno okolje za izvajanje Gemme 3 brez omejitev.

Osnovni koraki v NodeShift:

1. Ustvari račun na app.nodeshift.com.
2. Zaženite vozlišče GPU po meri (npr. z 2x RTX 4090).
3. Izberite vnaprej konfigurirano sliko z Ubuntu + Nvidia CUDA ali Jupyter Notebook, odvisno od tega, ali boste uporabljali Ollamo ali Transformers.
4. Povežite se prek SSH in namestite model iz ukazne vrstice.

Ta vrsta namestitve vam omogoča dostop do profesionalnih konfiguracij, idealen za modele za usposabljanje, ocenjevanje uspešnosti itd. Čeprav ni nujen za domače uporabnike, je uporaben za tiste, ki želijo poglobljeno eksperimentirati ali graditi aplikacije na naprednih LLM.

Sistemske zahteve in tehnična priporočila

Vsi modeli Gemma 3 ne bodo delovali na nobenem osebnem računalniku. Spodaj vam puščamo splošno referenco glede na vrsto modela:

• za modeli 1B do 7B: najmanj 8 GB RAM-a. Delujejo na skoraj vseh sodobnih računalnikih, tudi brez grafičnega procesorja.
• za 13B modeli: so priporočljive 16 GB do 24 GB RAM-a.
• za 27B modeli: so potrebni vsaj 32 GB RAM-a in po možnosti namenski GPE.

Več RAM-a pospeši delovanje in prepreči napake zaradi pomanjkanja pomnilnika. Medtem ko Ollama in LM Studio poskušata učinkovito uporabljati vire, bo to precej odvisno od vaše strojne opreme. Poleg tega se hitrost odziva občutno izboljša, če se namesto CPE uporablja GPE.

Namestitev Gemme 3 v Windows 11 je lažja, kot se zdi.. Ni pomembno, ali se odločite za uporabo Ollame zaradi njene preprostosti, LM Studio zaradi grafičnega vmesnika ali Google AI Studio za varno igranje v oblaku. Pomembno je, da se vsaka metoda prilagaja različnim stopnjam izkušenj in tehničnih zmogljivosti. Zdaj, ko poznate vse možnosti in kaj potrebujete za začetek, lahko že danes začnete eksperimentirati s to impresivno lokalno umetno inteligenco.