如何一步一步使用 Docker 安裝 LocalAI

使用 Docker 安裝 LocalAI 是最快捷、最簡潔的方法之一。 建立本地環境以運行 AI 模型，而無需依賴外部服務本文將詳細介紹如何操作：從安裝前的準備工作到本地AI介面的簡要介紹。我們還將介紹如何根據已安裝的硬體類型下載和使用範本。

LocalAI是什麼？為什麼要使用Docker安裝它？

在透過 Docker 安裝 LocalAI 之前，了解這個工具的具體功能很有幫助。簡而言之，LocalAI 是一個開源項目，它自稱是一個… OpenAI API 的免費替代方案除了免費之外，它還有一個優點，那就是所有處理都在本地硬體上完成：絕對的隱私。

作為 OpenAI API 的替代方案，它允許您使用相同的路由、參數和請求結構，但模型運行在您自己的機器上。此外，LocalAI 還支援其他功能。 您可以載入不同格式的模型，例如 GGUF 和 GPT4All，用於不同的用途。語言、視覺、聽覺和圖像。

LocalAI的另一個突出特點是： 它不需要獨立顯示卡。雖然它會在硬體加速可用時加以利用，但它在 CPU 模式下也能在 x86_64 和 ARM64 架構上流暢運作。此外，它還原生支援代理和模型上下文協定 (MCP) 規範。

為什麼要使用 Docker 安裝 LocalAI？因為使用 Docker 容器部署可以消除主機系統上的依賴衝突。此外，這 這是最便捷的選擇 對於絕大多數使用者和開發者而言，以下逐步安裝方法在任何作業系統上都能完美運作：Windows、macOS 或 Linux。

使用 Docker 安裝 LocalAI 的要求

當然，在我們開始之前 您的系統需要安裝 Docker。如果你還沒有相關文檔，可以參考作業系統官方文檔。文件中會提供詳細的步驟指南。 如何在 Linux 上安裝 Docker y 如何在 Windows 10 上安裝 Docker安裝完成後，執行以下命令以驗證其是否正常運作。 docker –version.

在硬體層面，使用 Docker 安裝 LocalAI 的要求取決於您要執行的模型。請記住，該工具會將模型下載並運行在本地。這意味著， 型號越大、性能越強，所需的硬體就越多。儲存空間、CPU核心數和記憶體容量（GB）。

使用 Docker 安裝 LocalAI 的逐步指南

我們來看看… 使用 Docker 安裝 LocalAI 的逐步指南首先，我們將介紹如何使用 Docker CLI 進行快速部署，如果您想試用工具，這將是理想之選。然後，我們將解釋如果您安裝了 NVIDIA GPU，如何部署 LocalAI（命令略有不同）。最後，我們將介紹如何使用 Docker Compose 進行進階部署，以便套用更具體的設定。

步驟 1：建立目錄結構

第一步是建立目錄結構，即一個 專用資料夾 這裡將儲存下載的模型和自訂 YAML 設定。除了保持更清晰的組織結構外，此步驟還能確保即使容器被銷毀或更新，資料也能持久保存。無論採用何種安裝方法，都建議先執行此操作。打開終端機並運作：

mkdir -p ~/localai/models cd ~/localai

步驟 2：選擇合適的 Docker 映像

不到一步，這是在使用 Docker 安裝 LocalAI 時需要注意的一點說明。該工具提供 針對不同硬體架構最佳化的圖像因此，選擇正確的標籤對於取得理想的效果至關重要：

• 僅限 CPU: localai/local:最新
• NVIDIA CUDA 12: localai/localai/:latest-gpu-nvidia-cuda-12
• AMD ROCm（hipBLAS）: localai/localai:最新-gpu-hipblas
• 英特爾 GPU（oneAPI）: localai/localai/:最新/GPU/英特爾
• Vulkan加速: localai/localai/:latest-gpu-vulkan

步驟 3：使用 Docker CLI 安裝 LocalAI

這是關鍵所在，也是最重要的一步，它將引導您使用 Docker 快速完成 LocalAI 的基本安裝。根據您的硬體配置，使用相應的命令和適當的標籤。 在沒有GPU（只有CPU）的PC上使用Docker安裝LocalAI請使用以下命令：

docker run -d \ --name local-ai \ -p 8080:8080 \ -v $(pw)/models:/build/models:rw \ --restart unless-stopped \ localai/localai:latest

另一方面， 如果你的電腦配備了NVIDIA顯示卡使用 Docker 安裝 LocalAI 的命令略有不同。在運行命令前，請確保您已安裝最新的 NVIDIA 驅動程式。 nvidia-container-toolkit然後，執行以下命令：

docker run -d \ --name local-ai \ -p 8080:8080 \ --gpus all \ -v $(pw)/models:/build/models:rw \ --restart unless-stopped \ localai/localai:latest-g-nvidia-cuda-12

步驟 4：使用 Docker Compose 進行進階部署（建議）

最後，如果您正在尋找安裝 LocalAI 的方法，可以使用 Docker Compose 進行安裝。 進階、可配置和永久部署 該工具的另一種方法是，允許您在一個聲明式檔案中定義環境變數、記憶體限制和網路配置。為此，您需要建立一個名為 `.env` 的檔案。 docker-compose.yml 在 ~/localai 目錄下（請參閱步驟 1），執行以下命令：

版本：'3.8' 服務：local-ai：鏡像：localai/localai:latest-gpu-nvidia-cuda-12 容器名稱：local-ai 重新啟動：除非停止 連接埠：- "8080:8080" 環境變數：- 執行緒數=8 - 連接埠：- "8080:8080" 環境變數：- 執行緒數=8 - 連接埠：- "8080:8080" 環境變數：- 執行緒數=8 - 埠=true -d 路徑/buil=10 ./models:/build/models:rw 部署：資源：預留：裝置：- 驅動程式：nvidia 數量：全部 功能：[gpu]

此指令適用於配備 NVIDIA GPU 的電腦。但是， 如果您在僅使用 CPU 的環境中執行把圖片改成 localai/localai/最新 並刪除該部分 部署.資源.預留.

步驟 5：啟動服務並透過介面管理模型

使用 Docker Compose 安裝 LocalAI 後，剩下的就是 在背景啟動服務 使用命令 docker compose up -d如果你願意，你可以馬上去做。 核實即時記錄 驗證伺服器是否已正確啟動 docker compose logs -f local-ai.

無論使用 Docker Compose 或 Docker CLI，此時您都可以存取該位址。 http://localhost:8080 為了 存取 Web 管理面板 (WebUI) 進入工具後，點選選項卡 模型 （模型），並尋找一個針對測試優化的輕量級模型，或安裝平台根據已安裝的硬體推薦的模型。

最後，點擊 安裝 LocalAI 將下載該檔案並自動在您的目錄中產生 YAML 設定。現在您可以 直接透過本地AI WebUI與模型聊天。 或透過伺服器將它們連接到其他工具。現在，剩下的就是探索和嘗試所有你想要的模型了。