如何一步一步使用 Docker 安裝 LocalAI

最後更新: 2026年05月08日

如何使用 Docker 安裝 LocalAI

使用 Docker 安裝 LocalAI 是最快捷、最簡潔的方法之一。 建立本地環境以運行 AI 模型,而無需依賴外部服務本文將詳細介紹如何操作:從安裝前的準備工作到本地AI介面的簡要介紹。我們還將介紹如何根據已安裝的硬體類型下載和使用範本。

LocalAI是什麼?為什麼要使用Docker安裝它?

LocalAI 網站

在透過 Docker 安裝 LocalAI 之前,了解這個工具的具體功能很有幫助。簡而言之,LocalAI 是一個開源項目,它自稱是一個… OpenAI API 的免費替代方案除了免費之外,它還有一個優點,那就是所有處理都在本地硬體上完成:絕對的隱私。

作為 OpenAI API 的替代方案,它允許您使用相同的路由、參數和請求結構,但模型運行在您自己的機器上。此外,LocalAI 還支援其他功能。 您可以載入不同格式的模型,例如 GGUF 和 GPT4All,用於不同的用途。語言、視覺、聽覺和圖像。

LocalAI的另一個突出特點是: 它不需要獨立顯示卡。雖然它會在硬體加速可用時加以利用,但它在 CPU 模式下也能在 x86_64 和 ARM64 架構上流暢運作。此外,它還原生支援代理和模型上下文協定 (MCP) 規範。

為什麼要使用 Docker 安裝 LocalAI?因為使用 Docker 容器部署可以消除主機系統上的依賴衝突。此外,這 這是最便捷的選擇 對於絕大多數使用者和開發者而言,以下逐步安裝方法在任何作業系統上都能完美運作:Windows、macOS 或 Linux。

使用 Docker 安裝 LocalAI 的要求

當然,在我們開始之前 您的系統需要安裝 Docker。如果你還沒有相關文檔,可以參考作業系統官方文檔。文件中會提供詳細的步驟指南。 如何在 Linux 上安裝 Docker y 如何在 Windows 10 上安裝 Docker安裝完成後,執行以下命令以驗證其是否正常運作。 docker –version.

在硬體層面,使用 Docker 安裝 LocalAI 的要求取決於您要執行的模型。請記住,該工具會將模型下載並運行在本地。這意味著, 型號越大、性能越強,所需的硬體就越多。儲存空間、CPU核心數和記憶體容量(GB)。

獨家內容 - 點擊這裡  如何使用 Odin3

使用 Docker 安裝 LocalAI 的逐步指南

如何使用 Docker 安裝 LocalAI

我們來看看… 使用 Docker 安裝 LocalAI 的逐步指南首先,我們將介紹如何使用 Docker CLI 進行快速部署,如果您想試用工具,這將是理想之選。然後,我們將解釋如果您安裝了 NVIDIA GPU,如何部署 LocalAI(命令略有不同)。最後,我們將介紹如何使用 Docker Compose 進行進階部署,以便套用更具體的設定。

步驟 1:建立目錄結構

第一步是建立目錄結構,即一個 專用資料夾 這裡將儲存下載的模型和自訂 YAML 設定。除了保持更清晰的組織結構外,此步驟還能確保即使容器被銷毀或更新,資料也能持久保存。無論採用何種安裝方法,都建議先執行此操作。打開終端機並運作:

mkdir -p ~/localai/models cd ~/localai

步驟 2:選擇合適的 Docker 映像

不到一步,這是在使用 Docker 安裝 LocalAI 時需要注意的一點說明。該工具提供 針對不同硬體架構最佳化的圖像因此,選擇正確的標籤對於取得理想的效果至關重要:

  • 僅限 CPU: localai/local:最新
  • NVIDIA CUDA 12: localai/localai/:latest-gpu-nvidia-cuda-12
  • AMD ROCm(hipBLAS): localai/localai:最新-gpu-hipblas
  • 英特爾 GPU(oneAPI): localai/localai/:最新/GPU/英特爾
  • Vulkan加速: localai/localai/:latest-gpu-vulkan

步驟 3:使用 Docker CLI 安裝 LocalAI

使用 Docker 進行 LocalAI 的基本安裝

這是關鍵所在,也是最重要的一步,它將引導您使用 Docker 快速完成 LocalAI 的基本安裝。根據您的硬體配置,使用相應的命令和適當的標籤。 在沒有GPU(只有CPU)的PC上使用Docker安裝LocalAI請使用以下命令:

docker run -d \ --name local-ai \ -p 8080:8080 \ -v $(pw)/models:/build/models:rw \ --restart unless-stopped \ localai/localai:latest

另一方面, 如果你的電腦配備了NVIDIA顯示卡使用 Docker 安裝 LocalAI 的命令略有不同。在運行命令前,請確保您已安裝最新的 NVIDIA 驅動程式。 nvidia-container-toolkit然後,執行以下命令:

docker run -d \ --name local-ai \ -p 8080:8080 \ --gpus all \ -v $(pw)/models:/build/models:rw \ --restart unless-stopped \ localai/localai:latest-g-nvidia-cuda-12

步驟 4:使用 Docker Compose 進行進階部署(建議)

如何讓 Docker 容器在停止回應時自動重新啟動

最後,如果您正在尋找安裝 LocalAI 的方法,可以使用 Docker Compose 進行安裝。 進階、可配置和永久部署 該工具的另一種方法是,允許您在一個聲明式檔案中定義環境變數、記憶體限制和網路配置。為此,您需要建立一個名為 `.env` 的檔案。 docker-compose.yml 在 ~/localai 目錄下(請參閱步驟 1),執行以下命令:

版本:'3.8' 服務:local-ai:鏡像:localai/localai:latest-gpu-nvidia-cuda-12 容器名稱:local-ai 重新啟動:除非停止 連接埠:- "8080:8080" 環境變數:- 執行緒數=8 - 連接埠:- "8080:8080" 環境變數:- 執行緒數=8 - 連接埠:- "8080:8080" 環境變數:- 執行緒數=8 - 埠=true -d 路徑/buil=10 ./models:/build/models:rw 部署:資源:預留:裝置:- 驅動程式:nvidia 數量:全部 功能:[gpu]

此指令適用於配備 NVIDIA GPU 的電腦。但是, 如果您在僅使用 CPU 的環境中執行把圖片改成 localai/localai/最新 並刪除該部分 部署.資源.預留.

步驟 5:啟動服務並透過介面管理模型

逐步解說如何使用 Docker 安裝 LocalAI
這就是 LocalAI WebUI 的介面。

使用 Docker Compose 安裝 LocalAI 後,剩下的就是 在背景啟動服務 使用命令 docker compose up -d如果你願意,你可以馬上去做。 核實即時記錄 驗證伺服器是否已正確啟動 docker compose logs -f local-ai.

無論使用 Docker Compose 或 Docker CLI,此時您都可以存取該位址。 http://localhost:8080 為了 存取 Web 管理面板 (WebUI) 進入工具後,點選選項卡 模型 (模型),並尋找一個針對測試優化的輕量級模型,或安裝平台根據已安裝的硬體推薦的模型。

獨家內容 - 點擊這裡  如何在 Windows 10 中解除安裝驅動程式

最後,點擊 安裝 LocalAI 將下載該檔案並自動在您的目錄中產生 YAML 設定。現在您可以 直接透過本地AI WebUI與模型聊天。 或透過伺服器將它們連接到其他工具。現在,剩下的就是探索和嘗試所有你想要的模型了。

安德烈斯·萊亞爾

Andrés Leal

從小我就對科學和科技著迷,尤其是那些讓我們的生活更輕鬆、更美好的進步。我喜歡關注最新的新聞和趨勢,並分享我使用各種設備和小工具的經驗、觀點和技巧。五年前,我因此成為了網路寫手,主要專注於安卓裝置和Windows作業系統。我學會了用簡單易懂的語言解釋複雜的概念,讓讀者輕鬆理解。