使用 Docker 部署 LiteLLM：逐步指南

LiteLLM 充當統一的橋樑，透過一個 OpenAI 相容的 API 標準化對 100 多個語言模型的存取。
使用 Docker 實現，您可以管理從簡單的管理介面到 Kubernetes 和公有雲中的複雜部署的一切。
該系統利用 PostgreSQL 和 Redis 資料庫，對支出、關鍵安全和配額管理進行精細控制。

想像一下，您的公司想要利用人工智慧，卻遭遇了資訊碎片化的困境。無論是 OpenAI、Anthropic 還是 Google，每個生命週期管理 (LLM) 提供者都有自己的規則、請求格式和身分驗證方法。解決方案可能包括… 使用 Docker 部署 LiteLLM。 對於技術團隊來說，每次想要測試新模型或更換供應商時，都要浪費寶貴的時間來調整程式碼，這最終會阻礙創新，造成不必要的資源浪費。

LiteLLM 它是一款開源工具，可用作通用翻譯器。基本上，它位於您的應用程式和各種模型之間，為您提供… 單一接口，相容於 OpenAI這樣，您就可以從 Groq 模型跳到 Claude 模型，甚至是在 Ollama 上運行的本地 Llama 模型，而無需重寫任何一行業務邏輯，從而以令人難以置信的方式簡化部署。

使用 Docker 和 Docker Compose 快速設置

如果您想避免依賴問題並保持系統整潔，Docker 是理想的解決方案。要開始使用，您可以複製 BerriAI 官方倉庫並設定一個檔案。 .env 檔案中包含您的 LITELLM_MASTER_KEY 以及 LITELLM_SALT_KEY。最後一個參數至關重要，因為它會加密您儲存在資料庫中的提供者憑證；如果您之後更改了該參數，您將失去對已配置模型的存取權。

獨家內容 - 點擊這裡如何在 Discord 中加入機器人

文件準備就緒後，只需簡單操作即可。 docker-compose up 它會設定網關。預設情況下，該服務託管在… 埠 4000如果您想要更簡單的方案，可以使用預製鏡像，這些鏡像會在啟動時自動產生主金鑰，您可以透過查看容器日誌來取得該金鑰。對於需要完整生態系統的使用者來說，將 LiteLLM 與…結合使用非常普遍。 開啟 WebUI 擁有直覺且功能強大的聊天介面。

管理面板和模型管理

LiteLLM 的一大亮點是其管理使用者介面，可透過以下路徑存取： /ui若要登入，請使用使用者名稱“admin”和您設定的主密碼。從這裡您可以… 透過選擇供應商來新增型號 從預先定義的目錄中，只需貼上您的 API 金鑰，然後按一下即可驗證連線。您無需成為 YAML 專家即可管理您的端點。

如果您喜歡使用命令列透過 Docker 部署 LiteLLM，可以使用下列腳本。 litellm_manage 透過 docker exec這樣，您無需打開瀏覽器即可列出模型、新增模型或刪除不再需要的模型。此外，如果您與 透過 Ollama 的本地模型您只需要指定主機 URL（通常 http://host.docker.internal:11434 在 macOS 或 Windows 上），LiteLLM 將處理橋接。

門禁控制和虛擬鑰匙

在專業環境中，你不能隨意將 API 主金鑰分發給所有人。為了解決這個問題，LiteLLM 允許你創建 個性化虛擬金鑰這些是您提供給開發人員或應用程式的金鑰，最棒的是，您可以自行決定如何授予它們。 預算限額和限制 取得特定模型的權限。

獨家內容 - 點擊這裡調整電腦螢幕亮度

要實現支出追蹤和用戶管理功能，您需要一個資料庫。 PostgreSQL標準的 Docker Compose 套件已經包含一個 Postgres 實例，用於儲存消費日誌和金鑰。如果您的部署規模擴大，您也可以整合 Postgres。 使用 Redis 管理速率限制 並進行緩存，從而防止應用程式耗盡您的 API 配額。

程式碼整合和 API 使用

代理程式運行後，任何支援 OpenAI API 的庫都可以工作。你只需要更改… base_url 連接到您的 LiteLLM 伺服器。如果您使用的是 OpenAI Python SDK，只需指向 4000 連接埠並使用以下方法： 產生的虛擬金鑰這樣可以實現模型之間的無縫遷移。

對於那些喜歡使用 curl 或使用網路工具，請求會以標準 POST 請求的形式傳送到端點。 /v1/chat/completions需要注意的是，根據您對模型的配置方式，您可能需要指定… 提供者前綴 （例如， groq/llama3這樣代理伺服器就能準確地知道將請求重新導向到哪裡。

生產和擴展部署

當您從本機實驗遷移到 AWS、Azure 或 Azure 等真實環境時， Google Cloud部署方式有所改變。您有兩種選擇： 整體模式其中單一鏡像負責管理流量、API 和 UI，或者 微服務模式其中網關、後端和介面是獨立部署和擴展的。

獨家內容 - 點擊這裡 MAX30102：Arduino 心率監測器和血氧計

對 Kubernetes 來說，最有效的方法是使用 Helm Charts這可讓您根據 CPU 使用率或 Prometheus 指標，使用 HPA 或 KEDA 配置自動擴縮容。在雲端，強烈建議部署一個 反向代理，例如 Nginx 或 Caddy。 在 LiteLLM 前面處理 HTTPS 加密，因為內部容器流量通常以明文形式傳輸。

安全與最佳實踐

為了確保系統穩定可靠，在使用 Docker 部署 LiteLLM 時，切勿將 4000 連接埠直接暴露給網路。理想情況下，該連接埠應綁定到… 127.0.0.1 並讓反向代理處理存取。此外，使用 秘密經理 在生產環境中，使用 AWS Secrets Manager 或 Azure Key Vault 等工具比直接將金鑰寫入 .env 檔案更可取。

另一個關鍵點是管理資料庫遷移。在大型部署中，最好運行一個 獨立移民工作 在啟動代理 pod 之前，請確保 PostgreSQL 架構是最新的，且不會阻塞 AI 請求流量。

使用 Docker 部署 LiteLLM 非常簡單。該工具將管理多個 AI 供應商的複雜性轉化為集中高效的運維。透過抽象 API 之間的差異並增加安全性和成本控制層，它使任何組織都能建立可擴展、安全且最重要的是靈活的 LLM 基礎設施，從而適應技術領域的不斷變化。

丹尼爾·特拉薩

專門研究技術和互聯網問題的編輯，在不同數位媒體領域擁有十多年的經驗。我曾在電子商務、通訊、線上行銷和廣告公司擔任編輯和內容創作者。我還在經濟、金融和其他領域的網站上撰寫過文章。我的工作也是我的熱情所在。現在，透過我的文章 Tecnobits，我嘗試探索科技世界每天為我們提供的所有新聞和新機會，以改善我們的生活。