Slik installerer du Gemma 3 LLM på Windows 11 trinn for trinn

Språkmodeller med åpen kildekode har utviklet seg med stormskritt, og I dag er det mulig å nyte dem direkte fra en personlig datamaskin uten å være avhengig av skytjenester.. En av de mest lovende for tiden er Gemma 3, Googles nye LLM basert på Gemini-teknologi, som skiller seg ut for sin evne til å behandle tekst og bilder, samt for sitt enorme kontekstvindu på opptil 128 XNUMX tokens i sine avanserte versjoner. For mer informasjon om denne utgivelsen, kan du besøke artikkelen vår om presentasjonen av Gemma 3.

Hvis du bruker Windows 11 og ønsker å installere Gemma 3 for eksperimentering eller til og med lokal produksjon, du har kommet til rett sted. La oss gå gjennom i detalj alle mulige måter å få det opp og kjøre på datamaskinen din, inkludert de mest anbefalte alternativene som Ollama, LM Studio, og også et skybasert alternativ med Google AI Studio. I tillegg vil vi ta for oss tekniske krav, fordeler ved hver metode og Hvordan få mest mulig ut av potensialet i denne kraftige kunstige intelligensen.

Hva er Gemma 3 og hvorfor installere det?

Gemma 3 er tredje generasjon LLM-modeller utgitt av Google under en åpen kildekode-lisens.. I motsetning til tidligere løsninger som Llama eller Mistral, tilbyr den direkte støtte for bildeinndata, en mye bredere kontekst og støtte for over 140 språk. Avhengig av dine behov, kan du velge mellom flere versjoner av modellen fra 1B til 27B parametere:

• Gemma 3:1B: Lettvektsmodell ideell for grunnleggende oppgaver og ressursbegrensede miljøer.
• Gemma 3:4B: Balanserer ytelse og effektivitet for mellomliggende applikasjoner.
• Gemma 3:12B: Anbefales for kompleks analyse, programmering og flerspråklig behandling.
• Gemma 3:27B: Det kraftigste alternativet, designet for intensiv, multimodal bruk med stor kontekstuell kapasitet.

Muligheten for å kjøre en så avansert modell fra din PC Det endrer spillereglene når det gjelder personvern, responshastighet og avhengighet av tredjeparter. Du trenger ikke lenger å betale månedlige abonnementer eller gi opp dataene dine. Alt som skal til er litt forberedelse og et ønske om å lære. Hvis du vil vite mer om fordelene med disse modellene, sjekk ut artikkelen vår om AI-modeller med åpen vekt.

Alternativ 1: Installasjon med Ollama

Ollama er sannsynligvis den enkleste måten å kjøre LLM som Gemma 3 fra Windows 11. Det terminalbaserte grensesnittet lar deg installere og kjøre modeller med en enkel kommandolinje. I tillegg er den kompatibel med macOS, Linux og Windows, noe som gjør den enkel å bruke i en rekke miljøer.

Trinn for å installere Ollama og kjøre Gemma 3:

1. Gå til den offisielle nettsiden: ollama.com.
2. Last ned installasjonsprogrammet for Windows og kjør det som et hvilket som helst annet program.
3. Åpne kommandoprompt (CMD) eller PowerShell og bekreft installasjonen med:

ollama --version

Hvis alt går bra, kan du nå laste ned hvilken som helst av de tilgjengelige Gemma 3-malene. Bare kjør en av disse kommandoene avhengig av malen du ønsker:

ollama run gemma3:1b
ollama run gemma3:4b
ollama run gemma3:12b
ollama run gemma3:27b

Når den er lastet ned, kan du enkelt starte modellen.. For å gjøre dette, kjør:

ollama init gemma3

Fra det øyeblikket kan du begynne å samhandle med LLM ved å:

ollama query gemma3 "¿Cuál es la capital de Japón?"

Hvis du ønsker å dra nytte av multimodale funksjoner, kan du også bruke bilder i søkene dine:

ollama query gemma3 --image "ruta-de-la-imagen.jpg"

Hva trenger du for å få det til å fungere bra? Selv om Ollama ikke stiller strenge minimumskrav, krever større modeller (som 27B) minst 32 GB RAM. Med 16GB kan du jobbe uten problemer med 7B-modellen, og selv om bruk av GPU ikke er obligatorisk hjelper det mye på hastigheten.

Alternativ 2: Bruk LM Studio

LM Studio er et annet gratis verktøy som lar deg installere og kjøre LLM-modeller lokalt fra et grafisk grensesnitt.. Den er kompatibel med Windows, macOS og Linux, og dens store fordel er at den ikke krever teknisk kunnskap for å fungere.

Instruksjoner:

1. Last ned LM Studio fra dets offisielle nettsted: lmstudio.ai.
2. Installer og kjør den.
3. Klikk på forstørrelsesglassikonet som sier "Oppdag".
4. Skriv inn "Gemma 3" i søkemotoren for å se de tilgjengelige modellene.

Før du installerer, sjekk om modellen er kompatibel med utstyret ditt. Hvis du ser advarselen "Sannsynligvis for stor for denne maskinen", kan du fortsatt installere den, men optimal ytelse er ikke garantert.

Når en kompatibel modell er lastet ned:

• Trykk "Load Model" for å laste den.
• Eller åpne en ny chat og velg modellen fra rullegardinmenyen.

Det beste med LM Studio er at det fungerer som en slags lokal ChatGPT, offline og på ditt språk. Du kan opprette flere chatter og lagre samtalene dine hvis du ønsker det. I tillegg, hvis du aktiverer alternativet "Local Server", kan du integrere det med Python-applikasjonene dine ved å bruke OpenAI-kompatible API.

Alternativ 3: Bruk Google AI Studio (online)

Hvis du ikke kan eller vil installere noe, kan du bruke Gemma 3 direkte fra skyen med Google AI Studio. Ingen installasjon er nødvendig, men en Internett-tilkobling og en Google-konto kreves.

Du må bare gå til aistudio.google.com og velg "Gemma 3" fra listen over modeller. Fra det øyeblikket kan du begynne å chatte med modellen som om den var en avansert versjon av Bard eller ChatGPT, inkludert bildeinndata.

Skyinstallasjon med NodeShift (valgfritt)

For de som leter etter mer kraft eller å distribuere modellen profesjonelt, er det mulighet for å bruke skytjenester som NodeShift. Med dem kan du leie maskiner med kraftige GPUer og konfigurere ditt ideelle miljø for å kjøre Gemma 3 uten begrensninger.

Grunnleggende trinn i NodeShift:

1. Opprett en konto på app.nodeshift.com.
2. Start en tilpasset GPU-node (f.eks. med 2x RTX 4090).
3. Velg et forhåndskonfigurert bilde med Ubuntu + Nvidia CUDA eller Jupyter Notebook, avhengig av om du skal bruke Ollama eller Transformers.
4. Koble til via SSH og installer modellen fra kommandolinjen.

Denne typen installasjon gir deg tilgang til profesjonelle konfigurasjoner, ideell for treningsmodeller, evaluering av ytelse osv. Selv om det ikke er avgjørende for hjemmebrukere, er det nyttig for de som ønsker å eksperimentere i dybden eller bygge applikasjoner på avanserte LLM-er.

Systemkrav og tekniske anbefalinger

Ikke alle Gemma 3-modeller vil kjøre på noen PC. Nedenfor gir vi deg en generell referanse i henhold til type modell:

• Til modell 1B til 7B: minimum 8 GB RAM. De fungerer på nesten hvilken som helst moderne PC, selv uten GPU.
• Til 13B-modeller: anbefales 16 GB til 24 GB RAM.
• Til 27B-modeller: er nødvendig minst 32 GB RAM og helst en dedikert GPU.

Å ha mer RAM øker driften og forhindrer feil på grunn av mangel på minne. Mens Ollama og LM Studio prøver å bruke ressurser effektivt, vil det avhenge mye av maskinvaren din. I tillegg forbedres responshastigheten betydelig hvis GPU brukes i stedet for CPU.

Å installere Gemma 3 på Windows 11 er enklere enn det ser ut til.. Det spiller ingen rolle om du velger å bruke Ollama for enkelhetens skyld, LM Studio for dets grafiske grensesnitt, eller Google AI Studio for å spille det trygt i skyen. Det viktige er at hver metode tilpasser seg ulike nivåer av erfaring og tekniske evner. Nå som du vet alle alternativene og hva du trenger for å komme i gang, kan du begynne å eksperimentere med denne imponerende lokale kunstige intelligensen i dag.