Att installera LocalAI med Docker är ett av de snabbaste och renaste sätten att Konfigurera en lokal miljö för att köra AI-modeller utan att förlita sig på externa tjänsterI det här inlägget berättar vi hur du gör: från förutsättningarna för installation till en kort genomgång av det lokala AI-gränssnittet. Vi kommer också att se hur du laddar ner och använder mallar beroende på vilken typ av hårdvara som är installerad.
Vad är LocalAI och varför installera det med Docker?

Innan du installerar LocalAI med Docker är det bra att förstå exakt vad det här verktyget är. Kort sagt är LocalAI ett projekt med öppen källkod som presenterar sig som en Ett gratis alternativ till OpenAI APIFörutom att vara gratis har det fördelen att all bearbetning sker på lokal hårdvara: absolut integritet.
Som ett alternativ till OpenAI API:et låter det dig använda samma rutter, parametrar och förfrågningsstruktur, men köra modellerna på din egen maskin. Dessutom, med LocalAI Du kan ladda modeller i olika format, till exempel GGUF och GPT4All, och för olika ändamål.: språk, syn, ljud och bilder.
Något annat som sticker ut med LocalAI är att Det kräver ingen dedikerad GPU.Även om den utnyttjar hårdvaruacceleration där det är tillgängligt, körs den smidigt på x86_64- och ARM64-arkitekturer i CPU-läge. Den har också inbyggt stöd för agenter och Model Context Protocol (MCP)-specifikationen.
Och varför installera LocalAI med Docker? För att driftsättning med Docker-containrar eliminerar beroendekonflikter på värdsystemet. Dessutom, detta Det är det mest tillgängliga och bekväma alternativet För den stora majoriteten av användare och utvecklare fungerar följande steg-för-steg-installation perfekt på alla operativsystem: Windows, macOS eller Linux.
Krav för att installera LocalAI med Docker
Naturligtvis, innan vi börjar Du måste ha Docker installerat på ditt system.Om du inte redan har det kan du följa den officiella dokumentationen för ditt operativsystem. Du hittar steg-för-steg-guider i posterna. Hur man installerar Docker på Linux y Hur man installerar Docker på Windows 10När den är installerad, kontrollera att den fungerar korrekt genom att köra kommandot docker-version.
På hårdvarunivå beror kraven för att installera LocalAI med Docker på vilken eller vilka modeller du vill köra. Kom ihåg att verktyget laddar ner och kör modeller lokalt. Det betyder att, Ju större och kraftfullare modellen är, desto mer hårdvara kommer att behövas.: lagringsutrymme, CPU-kärnor och GB RAM.
Steg-för-steg-instruktioner för att installera LocalAI med Docker

Låt oss se Steg-för-steg-guide för att installera LocalAI med DockerFörst ska vi se hur man utför en snabb distribution med Docker CLI, perfekt om du vill testa verktyget. Sedan förklarar vi hur man distribuerar LocalAI om du har en NVIDIA GPU installerad (kommandot ändras något). Och slutligen ska vi se hur man utför en avancerad distribution med Docker Compose om du behöver tillämpa mer specifika inställningar.
Steg 1: Skapa katalogstrukturen
Det första steget är att skapa en katalogstruktur, det vill säga en dedikerad mapp Det är här de nedladdade modellerna och anpassade YAML-konfigurationerna lagras. Förutom att upprätthålla en renare organisation säkerställer detta steg databeständighet även om containern förstörs eller uppdateras. Det är lämpligt att göra detta som en utgångspunkt oavsett installationsmetod. Öppna din terminal och kör:
mkdir -p ~/localai/modeller cd ~/localai
Steg 2: Välja lämplig Docker-avbildning
Det här är ett förtydligande att tänka på när du installerar LocalAI med Docker, vilket är mindre än ett steg. Bilder optimerade för olika hårdvaruarkitekturerDärför är det viktigt att välja rätt etikett (tagg) för att uppnå rätt prestanda:
- Endast CPU: localai/localal:senaste
- NVIDIA CUDA 12: localai/localai/:senaste-gpu-nvidia-cuda-12
- AMD ROCm (hipBLAS): localai/localai:senaste-gpu-hipblas
- Intel GPU (oneAPI): localai/localai/:senaste/gpu/intel
- Vulkanacceleration: localai/localai/:senaste-gpu-vulkan
Steg 3: Installera LocalAI med Docker CLI

Detta är huvudpunkten och det viktigaste steget som leder dig till en snabb och grundläggande LocalAI-installation med Docker. Beroende på din hårdvara, använd motsvarande kommando med lämplig tagg. För en Installera LocalAI med Docker på en dator utan GPU (endast CPU)Använd följande kommando:
docker run -d \ --name local-ai \ -p 8080:8080 \ -v $(pw)/models:/build/models:rw \ --restart unless-stopped \ localai/localai:latest
Å andra sidan, om din dator har ett NVIDIA-grafikkortKommandot för att installera LocalAI med Docker ändras något. Innan du kör det, se till att du har den senaste NVIDIA-drivrutinen och nvidia-container-toolkitKör sedan följande kommando:
docker run -d \ --name local-ai \ -p 8080:8080 \ --gpus all \ -v $(pw)/models:/build/models:rw \ --restart unless-stopped \ localai/localai:latest-gpu-nvidia-cuda-12
Steg 4: Avancerad distribution med Docker Compose (rekommenderas)
Slutligen kan du installera LocalAI med Docker Compose om du letar efter en avancerad, konfigurerbar och permanent driftsättning av verktyget. Den här metoden låter dig definiera miljövariabler, minnesgränser och nätverkskonfigurationer i en enda deklarativ fil. För att göra detta måste du skapa en fil som heter docker-compose.yml i katalogen ~/localai (se steg 1) genom att köra följande kommando:
version: '3.8' tjänster: local-ai: bild: localai/localai:latest-gpu-nvidia-cuda-12 containernamn: local-ai omstart: om inte stoppad portar: - "8080:8080" miljö: - TRÅDAR=8 - DEBUG=true - MODELS_PATH=/build/models - UPLOAD_LIMIT=15M volymer: - ./models:/build/models:rw deploy: resurser: reservationer: enheter: - drivrutin: nvidia antal: alla funktioner: [gpu]
Det här kommandot är anpassat för en dator med ett NVIDIA-grafikkort. Emellertid, om du kör i en CPU-only-miljö, ändra bilden till localai/localai/senaste och ta bort avsnittet distribuera.resurser.reservationer.
Steg 5: Starta tjänsten och hantera modellerna från gränssnittet
Efter att ha installerat LocalAI med Docker Compose återstår bara Starta tjänsten i bakgrunden med kommandot docker-compose up -dOm du vill kan du göra det direkt. verifiera realtidsregister för att kontrollera att servern har startat korrekt med docker komponera loggar -f local-ai.
Oavsett om du använder Docker Compose eller Docker CLI kan du nu gå till adressen http://localhost:8080 för komma åt webbadministrationspanelen (WebUI) av verktyget. När du är inne klickar du på fliken Modeller (Modeller) och leta efter en lättviktsmodell som är optimerad för testning, eller installera den som plattformen rekommenderar baserat på den installerade hårdvaran.
Klicka slutligen på Installera LocalAI kommer att ladda ner filen och automatiskt generera YAML-konfigurationen i din katalog. Nu kan du Chatta med modellen direkt från det lokala AI-webbgränssnittet eller ansluta dem till andra verktyg via servern. Nu är allt som återstår att utforska och experimentera med alla modeller du vill.
Index
