Come installare LocalAI con Docker passo dopo passo

Installare LocalAI con Docker è uno dei modi più veloci e puliti per Configura un ambiente locale per eseguire modelli di intelligenza artificiale senza dipendere da servizi esterni.In questo post, ti spiegheremo come fare: dai prerequisiti per l'installazione a una breve panoramica dell'interfaccia di Local AI. Vedremo anche come scaricare e utilizzare i modelli a seconda del tipo di hardware installato.

Cos'è LocalAI e perché installarlo con Docker?

Prima di installare LocalAI con Docker, è utile capire esattamente cos'è questo strumento. In breve, LocalAI è un progetto open-source che si presenta come un Un'alternativa gratuita all'API OpenAIOltre ad essere gratuito, ha il vantaggio che tutta l'elaborazione avviene sull'hardware locale: privacy assoluta.

In alternativa all'API OpenAI, consente di utilizzare gli stessi percorsi, parametri e struttura di richiesta, ma eseguendo i modelli sulla propria macchina. Inoltre, con LocalAI È possibile caricare modelli in diversi formati, come GGUF e GPT4All, e per scopi diversi.linguaggio, vista, udito e immagini.

Un'altra cosa che spicca su LocalAI è che Non richiede una GPU dedicata.Pur sfruttando l'accelerazione hardware laddove disponibile, funziona senza problemi su architetture x86_64 e ARM64 in modalità CPU. Offre inoltre supporto nativo per gli agenti e per la specifica Model Context Protocol (MCP).

E perché installare LocalAI con Docker? Perché la sua distribuzione con container Docker elimina i conflitti di dipendenza sul sistema host. Inoltre, questo È l'opzione più accessibile e conveniente Per la stragrande maggioranza degli utenti e degli sviluppatori, la seguente procedura di installazione passo passo funziona perfettamente su qualsiasi sistema operativo: Windows, macOS o Linux.

Requisiti per l'installazione di LocalAI con Docker

Naturalmente, prima di iniziare Dovrai avere Docker installato sul tuo sistema.Se non la possiedi già, puoi seguire la documentazione ufficiale del tuo sistema operativo. Troverai guide dettagliate nelle relative voci. Come installare Docker su Linux y Come installare Docker su Windows 10Una volta installato, verifica che funzioni correttamente eseguendo il comando docker –versione.

A livello hardware, i requisiti per l'installazione di LocalAI con Docker dipendono dal modello o dai modelli che si desidera eseguire. Ricorda che lo strumento scarica ed esegue i modelli localmente. Ciò significa che, Più grande e potente è il modello, maggiore sarà la quantità di hardware necessaria.: spazio di archiviazione, core della CPU e GB di RAM.

Istruzioni dettagliate per l'installazione di LocalAI con Docker

Vediamo il Guida passo passo all'installazione di LocalAI con DockerInnanzitutto, vedremo come eseguire un'implementazione rapida utilizzando Docker CLI, ideale se si desidera provare lo strumento. Successivamente, spiegheremo come implementare LocalAI se si dispone di una GPU NVIDIA installata (il comando cambia leggermente). Infine, vedremo come eseguire un'implementazione avanzata con Docker Compose se è necessario applicare impostazioni più specifiche.

Passaggio 1: Creazione della struttura delle directory

Il primo passo è creare una struttura di directory, cioè una cartella dedicata Qui verranno memorizzati i modelli scaricati e le configurazioni YAML personalizzate. Oltre a mantenere un'organizzazione più ordinata, questo passaggio garantisce la persistenza dei dati anche se il container viene distrutto o aggiornato. Si consiglia di iniziare da qui, indipendentemente dal metodo di installazione. Apri il terminale ed esegui:

mkdir -p ~/localai/models cd ~/localai

Passaggio 2: Selezione dell'immagine Docker appropriata

Meno di un passaggio, questa è una precisazione da tenere a mente quando si installa LocalAI con Docker. Lo strumento offre Immagini ottimizzate per diverse architetture hardwarePertanto, la scelta dell'etichetta (tag) giusta è fondamentale per ottenere le prestazioni desiderate:

• Solo CPU: localai/local:latest
• NVIDIA CUDA 12: localai/localai/:latest-gpu-nvidia-cuda-12
• AMD ROCm (hipBLAS): localai/localai:latest-gpu-hipblas
• GPU Intel (oneAPI): localai/localai/:latest/gpu/intel
• Accelerazione Vulkan: localai/localai/:latest-gpu-vulkan

Passaggio 3: Installa LocalAI con Docker CLI

Questo è il punto principale e il passaggio più importante che ti porterà a eseguire un'installazione LocalAI rapida e di base con Docker. A seconda del tuo hardware, usa il comando corrispondente con il tag appropriato. Per un Installazione di LocalAI con Docker su un PC senza GPU (solo CPU)Utilizzare il seguente comando:

docker run -d \ --name local-ai \ -p 8080:8080 \ -v $(pw)/models:/build/models:rw \ --restart unless-stopped \ localai/localai:latest

D'altra parte, se il tuo computer ha una GPU NVIDIAIl comando per installare LocalAI con Docker cambia leggermente. Prima di eseguirlo, assicurati di avere il driver NVIDIA più recente e il nvidia-container-toolkitQuindi, esegui il seguente comando:

docker run -d \ --name local-ai \ -p 8080:8080 \ --gpus all \ -v $(pw)/models:/build/models:rw \ --restart unless-stopped \ localai/localai:latest-gpu-nvidia-cuda-12

Passaggio 4: Distribuzione avanzata con Docker Compose (consigliato)

Infine, puoi installare LocalAI con Docker Compose se stai cercando un implementazione avanzata, configurabile e permanente dello strumento. Questo metodo consente di definire variabili d'ambiente, limiti di memoria e configurazioni di rete in un unico file dichiarativo. Per fare ciò, è necessario creare un file chiamato docker-compose.yml all'interno della directory ~/localai (vedi passaggio 1) eseguendo il seguente comando:

versione: '3.8' servizi: local-ai: immagine: localai/localai:latest-gpu-nvidia-cuda-12 nome_container: local-ai riavvio: a meno che non venga arrestato porte: - "8080:8080" ambiente: - THREADS=8 - DEBUG=true - MODELS_PATH=/build/models - UPLOAD_LIMIT=15M volumi: - ./models:/build/models:rw distribuzione: risorse: prenotazioni: dispositivi: - driver: nvidia conteggio: tutti capacità: [gpu]

Questo comando è adattato per un computer con una GPU NVIDIA. Tuttavia, se stai eseguendo il programma in un ambiente solo CPU, cambia l'immagine in localai/localai/ultime e rimuovere la sezione distribuzione.risorse.prenotazioni.

Passaggio 5: Avviare il servizio e gestire i modelli dall'interfaccia

Dopo aver installato LocalAI con Docker Compose, non resta che Avvia il servizio in background con il comando docker compose up -dSe vuoi, puoi farlo subito. verifica dei record in tempo reale per verificare che il server sia stato avviato correttamente con docker compose logs -f local-ai.

Sia che si utilizzi Docker Compose o Docker CLI, a questo punto è possibile accedere all'indirizzo http://localhost:8080 per Accedere al pannello di amministrazione web (WebUI) dello strumento. Una volta dentro, fai clic sulla scheda Modelli (Modelli) e cerca un modello leggero ottimizzato per i test oppure installa quello consigliato dalla piattaforma in base all'hardware installato.

Infine, fai clic su Installare LocalAI scaricherà il file e genererà automaticamente la configurazione YAML nella tua directory. Ora puoi Chatta direttamente con il modello dall'interfaccia web locale dell'IA. oppure collegarli ad altri strumenti tramite server. Ora non resta che esplorare e sperimentare con tutti i modelli che desideri.