- Ollama giver dig mulighed for at køre avancerede sprogmodeller som Llama 3 eller DeepSeek helt lokalt og privat.
- Værktøjet fungerer primært via kommandolinjen, selvom det understøtter eksterne grafiske grænseflader ved hjælp af Docker.
- AI-ydeevne afhænger direkte af computerens RAM- og GPU-kapacitet (Nvidia eller AMD).
Hvis du nogensinde har spekuleret på, om det er muligt at have en smart assistent på din computer uden at være afhængig af skyen eller betale månedlige abonnementer, er Ollama præcis svaret. Det er en open source-værktøj som fungerer som en motor til at implementere sprogmodeller (LLM) direkte på din hardware, så du kan chatte med AI uden at dine data nogensinde forlader dit rum.
Det mest kraftfulde aspekt ved dette system er, at det demokratiserer adgangen til kunstig intelligens, da det tillader udnyt din pc's ressourcer at generere hurtige svar. Selv uden en supercomputer kan du køre letvægtsmodeller, selvom det er sandt, at hvis hardwaren er meget begrænset, kan tokengenereringshastigheden give dig lyst til mere.
Hvad er Ollama egentlig, og hvordan fungerer det?
Ollama er grundlæggende en klient, der fungerer som base for installation af forskellige kunstig intelligens-programmer. I stedet for at tilgå et websted, ligger modellen på din harddisk. Dette har tre store fordele: for det første, Privatliv er absolut da intet sendes til eksterne servere; for det andet kan du bruge det uden internetforbindelseOg for det tredje omgår du enhver form for censur pålagt af de virksomheder, der administrerer onlinechats.
En vigtig detalje er, at Ollama som standard ikke har et vindue med knapper og farver, men snarere Det styres via terminalen. (CMD eller PowerShell på Windows). Når programmet er installeret, sker hele arbejdsgangen, fra download af modellen til samtalen, ved at skrive kommandoer i konsollen.
System- og hardwarekrav
For at alt kan køre problemfrit i Windows, skal du have version 10 22H2 eller enhver version af Windows 11 (Home eller Pro). Med hensyn til lagerplads fylder basisinstallationsprogrammet omkring 4 GB, men vær opmærksom på, at det er AI-modellerne, der virkelig fylder disken; nogle kan være ret store. ti eller hundredvis af gigabyteDet anbefales at have dobbelt så meget ledig plads som vægten af den model, du vil downloade.
Med hensyn til magt har Ollama indfødt støtte til NVIDIA og AMD Radeon grafikkortHvis du har et NVIDIA-kort, skal du sørge for at have driverversion 551.61 eller nyere. Til AMD skal du bruge drivere, der er kompatible med ROCm eller Vulkan. Hvis du ikke har en kraftig GPU, vil systemet bruge CPU'en, men hastigheden vil blive reduceret betydeligt.
Med hensyn til RAM er den gyldne regel som følger: for 7B-modelparametre skal du bruge mindst 8 GB RAMFor 13B-modeller skal du bruge omkring 16 GB RAM, og for de massive 33B-modeller skal du bruge 32 GB. Hvis du forsøger at køre en model, der er for stor til din RAM, vil programmet simpelthen ikke kunne starte den.
Trin til at installere Ollama på Windows
Det er enklere at installere Ollama end at installere de fleste andre almindelige programmer. Det første skridt er at gå til den officielle hjemmeside. ollama.com og klik på downloadknappen. Webstedet vil automatisk registrere, at du bruger Windows, og tilbyde dig den relevante eksekverbare fil.
Når filen er blevet downloadet OllamaSetup.exeDu skal bare køre det. Du behøver ikke at være systemadministrator, da programmet installeres automatisk i din brugermappe. Klik blot på "Næste" og derefter på "Installer", og om få sekunder har du værktøjet klar til brug.
Sådan lancerer du din første AI-model
Når du er færdig med installationen, vil du se, at der ikke sker noget synligt, når du åbner programmet; dette er normalt, fordi Ollama Det kører i baggrundenFor at starte handlingen skal du åbne kommandoprompten (CMD) eller PowerShell og skrive udførelseskommandoen for den ønskede model.
Hvis du for eksempel vil prøve den berømte Llama 3 fra Meta, så skriv Ollama løber llama3Første gang du kører denne kommando, vil Ollama downloade de nødvendige filer fra sit bibliotek. Når den er færdig, vil du se et symbol. >>>Dette indikerer, at du nu kan skrive dine prompts og modtage svar i realtid.
Hvis du leder efter noget specifikt, kan du besøge ollama.com/søgning For at udforske biblioteket med tilgængelige modeller, såsom DeepSeek, Phi 3, Mistral eller Gemma, finder du den præcise kommando for hver version (f.eks. ollama run deepseek-r1:8b) og de tekniske detaljer for hver enkelt.
Modelhåndtering og avancerede tricks
I konsollen er der interne kommandoer til at styre sessionen. Hvis du skriver /farvel Du lukker chatten, hvorimod med /clear Du kan slette samtalekonteksten for at starte forfra. Hvis du vil vide mere om den aktive model, skal du bruge /showOg for at se den fulde liste over snydekoder, kommandoen /? er din bedste allierede.
Hvis du har overdrevet download af modeller og løber tør for plads, kan du Fjern modeller, du ikke længere bruger i Ollama med kommandoen ollama rm efterfulgt af modelnavnet. Derudover kan du, hvis din primære disk er fuld, ændre den placering, hvor modellerne gemmes, ved at oprette en miljøvariabel i Windows kaldet OVNMODELLER med stien til den ønskede mappe.
Forbedring af oplevelsen: Visuelle grænseflader
Hvis du synes, at terminalen er for spartansk og foretrækker noget i retning af ChatGPT, kan du installere en alternativ brugerflade. Den mest populære mulighed er åben webuisom implementeres ved hjælp af Docker. Ved at køre den tilsvarende container-kommando kan du få adgang til Ollama via din webbrowser på localhost:3000Nyd et langt mere intuitivt og moderne visuelt design.
For dem, der er mere tekniske, tillader Ollama endda Opret din egen LLM Gennem tilpassede konfigurationer, integration af forskellige modeller for at kombinere deres muligheder og opnå langt mere præcise svar, der er skræddersyet til dine specifikke behov. Værktøjer som f.eks. Forbind Flowise med Ollama at designe komplekse arbejdsgange.
Dette værktøj er det ideelle udgangspunkt for alle, der ønsker at eksperimentere med generativ kunstig intelligens gratis, uden konti og med den ro i sindet, at Alt sker inden for deres eget hold., optimering af privatlivets fred og suveræniteten af dine personoplysninger.
Jeg er en teknologientusiast, der har vendt sine "nørde" interesser til et erhverv. Jeg har brugt mere end 10 år af mit liv på at bruge avanceret teknologi og pille ved alle slags programmer af ren nysgerrighed. Nu har jeg specialiseret mig i computerteknologi og videospil. Dette skyldes, at jeg i mere end 5 år har skrevet til forskellige hjemmesider om teknologi og videospil, og lavet artikler, der søger at give dig den information, du har brug for, på et sprog, der er forståeligt for alle.
Har du spørgsmål, så spænder min viden fra alt relateret til Windows styresystemet samt Android til mobiltelefoner. Og mit engagement er over for dig, jeg er altid villig til at bruge et par minutter og hjælpe dig med at løse eventuelle spørgsmål, du måtte have i denne internetverden.