- Ollama lar deg kjøre avanserte språkmodeller som Llama 3 eller DeepSeek helt lokalt og privat.
- Verktøyet fungerer primært via kommandolinjen, selv om det støtter eksterne grafiske grensesnitt ved hjelp av Docker.
- AI-ytelsen avhenger direkte av datamaskinens RAM- og GPU-kapasitet (Nvidia eller AMD).
Hvis du noen gang har lurt på om det er mulig å ha en smart assistent på datamaskinen din uten å være avhengig av skyen eller betale månedlige abonnementer, er Ollama nettopp svaret. Det er en åpen kildekode-verktøy som fungerer som en motor for å distribuere språkmodeller (LLM) direkte på maskinvaren din, slik at du kan chatte med AI uten at dataene dine noen gang forlater rommet ditt.
Det kraftigste aspektet ved dette systemet er at det demokratiserer tilgangen til kunstig intelligens, ettersom det tillater utnytt PC-ens ressurser for å generere raske responser. Selv uten en superdatamaskin kan du kjøre lette modeller, selv om det er sant at hvis maskinvaren er svært begrenset, kan hastigheten på tokengenereringen gjøre at du vil ha mer.
Hva er egentlig Ollama, og hvordan fungerer det?
I bunn og grunn er Ollama en klient som fungerer som en base for å installere ulike kunstig intelligens-programmer. I stedet for å gå inn på et nettsted, ligger modellen på harddisken din. Dette har tre store fordeler: for det første, Personvern er absolutt siden ingenting sendes til eksterne servere; for det andre kan du bruke den uten internettforbindelseOg for det tredje omgår du enhver form for sensur pålagt av selskapene som administrerer nettprat.
En viktig detalj er at Ollama som standard ikke har et vindu med knapper og farger, men heller Det administreres via terminalen. (CMD eller PowerShell på Windows). Når programmet er installert, skjer hele arbeidsflyten, fra nedlasting av modellen til samtalen, ved å skrive kommandoer i konsollen.
System- og maskinvarekrav
For at alt skal kjøre knirkefritt i Windows, må du ha versjon 10 22H2 eller en hvilken som helst versjon av Windows 11 (Hjem eller Pro). Når det gjelder lagringsplass, tar basisinstallasjonsprogrammet opp omtrent 4 GB, men vær oppmerksom på at det er AI-modellene som virkelig fyller opp disken; noen kan være ganske store. titalls eller hundrevis av gigabyteDet anbefales å ha dobbelt så mye ledig plass som vekten til modellen du vil laste ned.
Når det gjelder makt, har Ollama innfødt støtte for NVIDIA- og AMD Radeon-grafikkortHvis du har et NVIDIA-kort, må du sørge for at du har driverversjon 551.61 eller høyere. For AMD, bruk drivere som er kompatible med ROCm eller Vulkan. Hvis du ikke har et kraftig GPU, vil systemet bruke CPU-en, men hastigheten vil bli betydelig redusert.
Når det gjelder RAM, er den gylne regelen som følger: for 7B-modellparametere trenger du minst 8 GB RAMFor 13B-modeller trenger du omtrent 16 GB RAM, og for de massive 33B-modellene trenger du 32 GB. Hvis du prøver å kjøre en modell som er for stor for RAM-en din, vil programmet rett og slett ikke kunne starte den.
Fremgangsmåte for å installere Ollama på Windows
Det er enklere å installere Ollama enn å installere annen vanlig programvare. Det første trinnet er å gå til det offisielle nettstedet. ollama.com og klikk på nedlastingsknappen. Nettstedet vil automatisk oppdage at du bruker Windows og tilby deg den riktige kjørbare filen.
Når filen er lastet ned OllamaSetup.exeDu trenger bare å kjøre det. Du trenger ikke å være systemadministrator, siden programmet installeres automatisk i brukerkatalogen din. Bare klikk på «Neste» og deretter «Installer», så har du verktøyet klart til bruk i løpet av få sekunder.
Slik lanserer du din første AI-modell
Når du er ferdig med installasjonen, vil du se at ingenting synlig skjer når du åpner programmet. Dette er normalt fordi Ollama Den kjører i bakgrunnenFor å starte handlingen, åpne ledeteksten (CMD) eller PowerShell og skriv inn utførelseskommandoen for ønsket modell.
Hvis du for eksempel vil prøve den berømte Llama 3 fra Meta, skriv ollama løp llama3Første gang du kjører denne kommandoen, vil Ollama laste ned de nødvendige filene fra biblioteket sitt. Når den er ferdig, vil du se et symbol. >>>Dette indikerer at du nå kan skrive spørsmålene dine og motta svar i sanntid.
Hvis du leter etter noe spesifikt, kan du besøke ollama.com/søk For å utforske biblioteket med tilgjengelige modeller, som DeepSeek, Phi 3, Mistral eller Gemma, finner du den nøyaktige kommandoen for hver versjon (for eksempel, ollama run deepseek-r1:8b) og de tekniske detaljene for hver enkelt.
Modellhåndtering og avanserte triks
Inne i konsollen finnes det interne kommandoer for å kontrollere økten. Hvis du skriver /ha det Du vil lukke chatten, mens med /clear Du kan slette samtalekonteksten for å starte på nytt. Hvis du vil lære mer om den aktive modellen, kan du bruke /showOg for å se hele listen over juksekoder, kommandoen /? er din beste allierte.
Hvis du har gått over streken med å laste ned modeller og går tom for plass, kan du Fjern modeller du ikke lenger bruker i Ollama med kommandoen ollama rm etterfulgt av modellnavnet. I tillegg, hvis hoveddisken din er full, kan du endre plasseringen der modellene lagres ved å opprette en miljøvariabel i Windows kalt OVNSMODELLER med banen til ønsket mappe.
Forbedring av opplevelsen: Visuelle grensesnitt
Hvis du synes terminalen er for spartansk og foretrekker noe som ChatGPT, kan du installere et alternativt grensesnitt. Det mest populære alternativet er åpen webuisom distribueres ved hjelp av Docker. Ved å kjøre den tilhørende container-kommandoen kan du få tilgang til Ollama via nettleseren din på localhost:3000Nyt godt av et mye mer intuitivt og moderne visuelt design.
For de som er mer teknisk anlagte, tillater Ollama til og med lag din egen LLM Gjennom tilpassede konfigurasjoner, integrering av ulike modeller for å kombinere deres funksjoner og få mye mer presise svar skreddersydd til dine spesifikke behov. Verktøy som Koble Flowise til Ollama å designe komplekse arbeidsflyter.
Dette verktøyet er det ideelle inngangspunktet for alle som ønsker å eksperimentere med generativ kunstig intelligens uten kostnad, uten kontoer og med den tryggheten som følger med Alt skjer i deres eget lag., optimaliserer personvernet og suvereniteten til dine personopplysninger.
Jeg er en teknologientusiast som har gjort sine "geek"-interesser til et yrke. Jeg har brukt mer enn 10 år av livet mitt på å bruke banebrytende teknologi og fikse med alle slags programmer av ren nysgjerrighet. Nå har jeg spesialisert meg på datateknologi og videospill. Dette er fordi jeg i mer enn 5 år har skrevet for forskjellige nettsteder om teknologi og videospill, og laget artikler som prøver å gi deg den informasjonen du trenger på et språk som er forståelig for alle.
Hvis du har spørsmål, spenner min kunnskap fra alt relatert til Windows-operativsystemet samt Android for mobiltelefoner. Og mitt engasjement er til deg, jeg er alltid villig til å bruke noen minutter og hjelpe deg med å løse eventuelle spørsmål du måtte ha i denne internettverdenen.