Kako instalirati Gemma 3 LLM na Windows 11 korak po korak

Jezični modeli otvorenog izvornog koda evoluirali su skokovito i brzo Danas je u njima moguće uživati ​​izravno s osobnog računala bez ovisnosti o uslugama u oblaku.. Jedan od trenutno najperspektivnijih je Gemma 3, Googleov novi LLM temeljen na Gemini tehnologiji, koji se ističe svojom sposobnošću obrade teksta i slika, kao i svojim ogromnim kontekstnim prozorom do 128k tokena u svojim naprednim verzijama. Za više informacija o ovom izdanju, možete posjetiti naš članak o predstavljanje Gemme 3.

Ako koristite Windows 11 i želite instalirati Gemma 3 za eksperimentiranje ili čak lokalnu proizvodnju, došli ste na pravo mjesto. Idemo detaljno pregledati sve moguće načine da ga pokrenete i pokrenete na svom računalu, uključujući najčešće preporučene opcije kao što su Ollama, LM Studio, kao i alternativu temeljenu na oblaku s Google AI Studio. Osim toga, bavit ćemo se tehničkim zahtjevima, prednostima svake metode i Kako maksimalno iskoristiti potencijal ove moćne umjetne inteligencije.

Što je Gemma 3 i zašto je instalirati?

Gemma 3 treća je generacija LLM modela koje je Google objavio pod licencom otvorenog koda.. Za razliku od prethodnih rješenja kao što su Llama ili Mistral, nudi izravnu podršku za unos slike, mnogo širi kontekst i podršku za više od 140 jezika. Ovisno o vašim potrebama, možete birati između nekoliko verzija modela u rasponu od 1B do 27B parametara:

• Gema 3:1B: Lagani model idealan za osnovne zadatke i okruženja s ograničenim resursima.
• Gema 3:4B: Balansiranje performansi i učinkovitosti za srednje primjene.
• Gema 3:12B: Preporuča se za složenu analizu, programiranje i višejezičnu obradu.
• Gema 3:27B: Najmoćnija opcija, dizajnirana za intenzivnu, multimodalnu upotrebu s velikim kontekstualnim kapacitetom.

Mogućnost pokretanja tako naprednog modela s vašeg računala Mijenja pravila igre u pogledu privatnosti, brzine odgovora i ovisnosti o trećim stranama. Više ne morate plaćati mjesečne pretplate niti se odreći svojih podataka. Sve što je potrebno je malo pripreme i želja za učenjem. Ako želite saznati više o prednostima ovih modela, pogledajte naš članak o AI modeli otvorene težine.

Opcija 1: Instalacija s Ollama

Ollama je vjerojatno najlakši način za pokretanje LLM-a poput Gemme 3 iz Windowsa 11. Njegovo sučelje temeljeno na terminalu omogućuje vam instalaciju i pokretanje modela pomoću jednostavnog naredbenog retka. Osim toga, kompatibilan je sa sustavima macOS, Linux i Windows, što ga čini jednostavnim za korištenje u različitim okruženjima.

Koraci za instaliranje Ollame i pokretanje Gemme 3:

1. Pristup službenoj web stranici: ollama.com.
2. Preuzmite instalacijski program za Windows i pokrenuti ga kao bilo koji drugi program.
3. Otvorite naredbeni redak (CMD) ili PowerShell i potvrdite instalaciju pomoću:

ollama --version

Ako sve bude u redu, sada možete preuzeti bilo koji od dostupnih predložaka Gemma 3. Jednostavno pokrenite jednu od ovih naredbi ovisno o predlošku koji želite:

ollama run gemma3:1b
ollama run gemma3:4b
ollama run gemma3:12b
ollama run gemma3:27b

Nakon preuzimanja, možete jednostavno pokrenuti model.. Da biste to učinili, pokrenite:

ollama init gemma3

Od tog trenutka možete započeti interakciju s LLM-om na sljedeći način:

ollama query gemma3 "¿Cuál es la capital de Japón?"

Ako želite iskoristiti multimodalne funkcije, također možete koristiti slike u svojim upitima:

ollama query gemma3 --image "ruta-de-la-imagen.jpg"

Što vam je potrebno da bi dobro funkcionirao? Iako Ollama ne nameće stroge minimalne zahtjeve, veći modeli (poput 27B) zahtijevaju najmanje 32 GB RAM-a. Sa 16GB možete bez problema raditi s modelom 7B, a iako korištenje GPU-a nije obavezno, puno pomaže u brzini.

Opcija 2: Koristite LM Studio

LM Studio je još jedan besplatni alat koji vam omogućuje instalaciju i pokretanje LLM modela lokalno s grafičkog sučelja.. Kompatibilan je sa sustavima Windows, macOS i Linux, a njegova velika prednost je što ne zahtijeva tehničko znanje za rad.

Instrucciones:

1. Preuzmite LM Studio sa službene stranice: lmstudio.ai.
2. Instalirajte ga i pokrenite.
3. Kliknite ikonu povećala s natpisom "Otkrij".
4. U tražilicu upišite “Gemma 3” kako biste vidjeli dostupne modele.

Prije instalacije provjerite je li model kompatibilan s vašom opremom. Ako vidite upozorenje "Vjerojatno je prevelik za ovaj stroj", još uvijek ga možete instalirati, ali optimalna izvedba nije zajamčena.

Nakon preuzimanja kompatibilnog modela:

• Pritisnite "Učitaj model" da biste ga učitali.
• Ili otvorite novi chat i odaberite model iz padajućeg izbornika.

Najbolja stvar kod LM Studija je to što djeluje kao neka vrsta lokalnog ChatGPT-a, izvan mreže i na vašem jeziku. Možete stvoriti više chatova i spremiti svoje razgovore ako želite. Osim toga, ako omogućite opciju "Lokalni poslužitelj", možete je integrirati sa svojim Python aplikacijama pomoću API-ja kompatibilnog s OpenAI-om.

Opcija 3: Koristite Google AI Studio (online)

Ako ne možete ili ne želite ništa instalirati, možete koristiti Gemma 3 izravno iz oblaka s Google AI Studio. Instalacija nije potrebna, ali potrebna je internetska veza i Google račun.

Samo moraš otići do aistudio.google.com i odaberite “Gemma 3” s popisa modela. Od tog trenutka možete početi razgovarati s modelom kao da je napredna verzija Barda ili ChatGPT-a, uključujući unos slike.

Instalacija u oblaku uz NodeShift (opcionalno)

Za one koji traže više snage ili profesionalnu implementaciju modela, postoji mogućnost korištenja usluga u oblaku kao što je NodeShift. S njima možete iznajmiti strojeve sa snažnim GPU-ima i konfigurirati svoje idealno okruženje za pokretanje Gemme 3 bez ograničenja.

Osnovni koraci u NodeShift-u:

1. Otvorite račun na app.nodeshift.com.
2. Pokrenite prilagođeni GPU čvor (npr. s 2x RTX 4090).
3. Odaberite unaprijed konfiguriranu sliku s Ubuntu + Nvidia CUDA ili Jupyter Notebook, ovisno o tome hoćete li koristiti Ollama ili Transformers.
4. Povežite se putem SSH-a i instalirajte model iz naredbenog retka.

Ova vrsta instalacije daje vam pristup profesionalnim konfiguracijama, idealno za modele obuke, ocjenjivanje performansi itd. Iako nije bitno za kućne korisnike, korisno je za one koji žele dubinski eksperimentirati ili graditi aplikacije na naprednim LLM-ovima.

Zahtjevi sustava i tehničke preporuke

Neće svi Gemma 3 modeli raditi na bilo kojem računalu. U nastavku vam ostavljamo opću referencu prema vrsti modela:

• u modeli 1B do 7B: minimum 8 GB RAM-a. Rade na gotovo svakom modernom računalu, čak i bez GPU-a.
• u 13B modeli: preporučuju se 16 GB do 24 GB RAM-a.
• u 27B modeli: su potrebni najmanje 32 GB RAM-a i po mogućnosti namjenski GPU.

Više RAM-a ubrzava rad i sprječava pogreške zbog nedostatka memorije. Iako Ollama i LM Studio pokušavaju učinkovito koristiti resurse, to će dosta ovisiti o vašem hardveru. Osim toga, brzina odziva značajno se poboljšava ako se GPU koristi umjesto CPU-a.

Instaliranje Gemme 3 na Windows 11 lakše je nego što se čini.. Nije bitno hoćete li se odlučiti koristiti Ollamu zbog njene jednostavnosti, LM Studio zbog grafičkog sučelja ili Google AI Studio za igranje na sigurno u oblaku. Važno je da se svaka metoda prilagođava različitim razinama iskustva i tehničkim mogućnostima. Sada kada znate sve mogućnosti i što vam je potrebno za početak, već danas možete početi eksperimentirati s ovom impresivnom lokalnom umjetnom inteligencijom.