Hoe Gemma 3 LLM stap voor stap op Windows 11 te installeren

Open source-taalmodellen zijn met sprongen vooruitgegaan en Tegenwoordig is het mogelijk om er direct vanaf een pc van te genieten, zonder afhankelijk te zijn van clouddiensten.. Een van de meestbelovende is momenteel Gemma 3, de nieuwe LLM van Google op basis van Gemini-technologie. Deze onderscheidt zich door de mogelijkheid om tekst en afbeeldingen te verwerken en door het enorme contextvenster van maximaal 128 tokens in de geavanceerde versies. Voor meer informatie over deze release kunt u ons artikel bezoeken op de presentatie van Gemma 3.

Als u Windows 11 gebruikt en Gemma 3 wilt installeren om te experimenteren of zelfs voor lokale productie, dan bent u bij ons aan het juiste adres. Laten we gedetailleerd alle mogelijke manieren doornemen om AI Studio op uw computer te laten draaien, inclusief de meest aanbevolen opties zoals Ollama, LM Studio en ook een cloudgebaseerd alternatief met Google AI Studio. Daarnaast gaan we in op de technische vereisten, de voordelen van elke methode en Hoe u het potentieel van deze krachtige kunstmatige intelligentie optimaal kunt benutten.

Wat is Gemma 3 en waarom zou ik het installeren?

Gemma 3 is de derde generatie LLM-modellen die door Google onder een open-sourcelicentie is uitgebracht.. In tegenstelling tot eerdere oplossingen zoals Llama of Mistral biedt het directe ondersteuning voor het invoeren van afbeeldingen, een veel bredere context en ondersteuning voor meer dan 140 talen. Afhankelijk van uw behoeften kunt u kiezen uit verschillende versies van het model, variërend van 1B tot 27B parameters:

• Gemma 3:1B: Lichtgewicht model, ideaal voor eenvoudige taken en omgevingen met beperkte middelen.
• Gemma 3:4B: Balans tussen prestaties en efficiëntie voor intermediaire toepassingen.
• Gemma 3:12B: Aanbevolen voor complexe analyses, programmering en meertalige verwerking.
• Gemma 3:27B: De krachtigste optie, ontworpen voor intensief, multimodaal gebruik met een grote contextuele capaciteit.

De mogelijkheid om zo'n geavanceerd model vanaf uw pc te draaien Het verandert de spelregels op het gebied van privacy, reactiesnelheid en afhankelijkheid van derden. U hoeft geen maandelijkse abonnementskosten meer te betalen of uw data op te geven. Het enige wat je nodig hebt is een beetje voorbereiding en de wil om te leren. Als u meer wilt weten over de voordelen van deze modellen, lees dan ons artikel over open gewicht AI-modellen.

Optie 1: Installatie met Ollama

Ollama is waarschijnlijk de gemakkelijkste manier om LLM zoals Gemma 3 te draaien vanaf Windows 11. Dankzij de terminalinterface kunt u modellen installeren en uitvoeren met een eenvoudige opdrachtregel. Bovendien is het compatibel met macOS, Linux en Windows, waardoor het eenvoudig te gebruiken is in verschillende omgevingen.

Stappen om Ollama te installeren en Gemma 3 uit te voeren:

1. Ga naar de officiële website: ollama.com.
2. Download het installatieprogramma voor Windows en voer het uit zoals elk ander programma.
3. Open de opdrachtprompt (CMD) of PowerShell en verifieer de installatie met:

ollama --version

Als alles goed gaat, kunt u nu een van de beschikbare Gemma 3-sjablonen downloaden. Voer eenvoudigweg een van deze opdrachten uit, afhankelijk van de sjabloon die u wilt:

ollama run gemma3:1b
ollama run gemma3:4b
ollama run gemma3:12b
ollama run gemma3:27b

Nadat u het hebt gedownload, kunt u het model eenvoudig starten.. Om dit te doen, voer je het volgende uit:

ollama init gemma3

Vanaf dat moment kunt u op de volgende manieren met de LLM in contact komen:

ollama query gemma3 "¿Cuál es la capital de Japón?"

Als u wilt profiteren van multimodale functies, u kunt ook afbeeldingen gebruiken in uw zoekopdrachten:

ollama query gemma3 --image "ruta-de-la-imagen.jpg"

Wat heb je nodig om het goed te laten werken? Hoewel Ollama geen strikte minimumvereisten hanteert, vereisen grotere modellen (zoals de 27B) minimaal 32 GB RAM. Met 16GB kun je probleemloos werken met het 7B model, en hoewel het gebruik van een GPU niet verplicht is, scheelt het wel enorm in de snelheid.

Optie 2: Gebruik LM Studio

LM Studio is een andere gratis tool waarmee u LLM-modellen lokaal kunt installeren en uitvoeren via een grafische interface.. Het is compatibel met Windows, macOS en Linux en het grote voordeel is dat er geen technische kennis nodig is om het te kunnen bedienen.

Instructies:

1. Download LM Studio van de officiële website: lmstudio.ai.
2. Installeer en voer het uit.
3. Klik op het vergrootglaspictogram met de tekst 'Ontdekken'.
4. Typ “Gemma 3” in de zoekmachine om de beschikbare modellen te zien.

Controleer voor de installatie of het model compatibel is met uw apparatuur. Als u de waarschuwing 'Waarschijnlijk te groot voor deze machine' ziet, kunt u het nog steeds installeren, maar optimale prestaties zijn niet gegarandeerd.

Zodra een compatibel model is gedownload:

• Klik op “Model laden” om het te laden.
• Of open een nieuwe chat en kies het model uit het keuzemenu.

Het beste aan LM Studio is dat het fungeert als een soort lokale ChatGPT, offline en in jouw taal. U kunt meerdere chats maken en uw gesprekken opslaan als u dat wilt. Als u bovendien de optie 'Lokale server' inschakelt, kunt u deze integreren met uw Python-toepassingen met behulp van de OpenAI-compatibele API.

Optie 3: Gebruik Google AI Studio (online)

Als u niets kunt of wilt installeren, kunt u Gemma 3 rechtstreeks vanuit de cloud gebruiken met Google AI Studio. Er is geen installatie vereist, maar u hebt wel een internetverbinding en een Google-account nodig.

Je hoeft alleen maar naar aistudio.google.com en selecteer “Gemma 3” uit de lijst met modellen. Vanaf dat moment kunt u met het model chatten alsof het een geavanceerde versie van Bard of ChatGPT is, inclusief invoer van afbeeldingen.

Cloudinstallatie met NodeShift (optioneel)

Voor degenen die op zoek zijn naar meer vermogen of het model professioneel willen inzetten, is er de mogelijkheid om gebruik te maken van clouddiensten zoals NodeShift. U kunt bij hen machines met krachtige GPU's huren en uw ideale omgeving configureren om Gemma 3 zonder beperkingen te draaien.

Basisstappen in NodeShift:

1. Maak een account aan op app.nodeshift.com.
2. Start een aangepaste GPU-node (bijvoorbeeld met 2x RTX 4090).
3. Kies een vooraf geconfigureerde image met Ubuntu + Nvidia CUDA of Jupyter Notebook, afhankelijk van of u Ollama of Transformers gaat gebruiken.
4. Maak verbinding via SSH en installeer het model vanaf de opdrachtregel.

Met dit type installatie krijgt u toegang tot professionele configuraties, ideaal voor het trainen van modellen, het evalueren van prestaties, enz. Hoewel het niet essentieel is voor thuisgebruikers, is het nuttig voor degenen die diepgaand willen experimenteren of toepassingen willen bouwen op geavanceerde LLM's.

Systeemvereisten en technische aanbevelingen

Niet alle Gemma 3-modellen werken op elke pc. Hieronder vindt u een algemene referentie per modeltype:

• naar modellen 1B tot 7B: minimaal 8 GB RAM-geheugen. Ze werken op vrijwel elke moderne pc, zelfs zonder GPU.
• naar 13B-modellen: worden aanbevolen 16 GB tot 24 GB RAM.
• naar 27B-modellen: zijn nodig minimaal 32 GB RAM en bij voorkeur een speciale GPU.

Meer RAM versnelt de werking en voorkomt fouten door geheugengebrek. Hoewel Ollama en LM Studio proberen om bronnen efficiënt te gebruiken, hangt dit sterk af van uw hardware. Bovendien verbetert de reactiesnelheid aanzienlijk als de GPU in plaats van de CPU wordt gebruikt.

Gemma 3 installeren op Windows 11 is eenvoudiger dan het lijkt.. Het maakt niet uit of u kiest voor Ollama vanwege de eenvoud, LM Studio vanwege de grafische interface of Google AI Studio voor de zekerheid in de cloud. Belangrijk is dat elke methode zich aanpast aan verschillende niveaus van ervaring en technische mogelijkheden. Nu u alle opties kent en weet wat u nodig hebt om aan de slag te gaan, kunt u vandaag nog beginnen met experimenteren met deze indrukwekkende lokale kunstmatige intelligentie.