如何在 LiteLLM 中查看令牌使用情況和記錄

最後更新: 2026年27月08日

  • 它將 100 多個 LLM API 統一到一個與 OpenAI 相容的標準下,以避免技術分散。
  • 它可以透過內部參數和與 MLflow 的集成,詳細追蹤成本和代幣消耗。
  • 它提供靈活的架構,從輕量級 SDK 到支援 Redis 和 PostgreSQL 的強大代理伺服器,應有盡有。
LiteLLM 專業控制面板以深色模式顯示令牌消耗和 API 日誌,並附有使用情況圖表。

想像一下,你的公司決定大力投資人工智慧,但突然間卻遇到了難題:每種語言模型都有自己的規則,它們的 API 也各不相同,管理所有這些混亂局面簡直成了技術噩夢。在本文中,我們將探討如何解決這個問題。 查看LiteLLM上的記錄和代幣消耗情況, 最受歡迎的之一。

這 該工具基本上起到以下作用: 通用翻譯器 對於LLM(法學碩士)來說,與其記憶每個供應商的文檔,不如使用這個庫,它將所有內容統一到一個標準下,讓您可以輕鬆地在不同模型之間切換,並將精力集中在真正為業務增值的事情上。

LiteLLM究竟是什麼?它為何如此引人注目?

 

為避免混淆,我們需要明白: LiteLLM 它並非單一事物,而是以兩種形式存在。一方面,我們有… Python SDK這是一個輕量級軟體包,可以透過 pip 安裝,它可以將你的請求轉換成 Claude 或 Gemini 等模型可以理解的格式。另一方面,還有… 代理伺服器一個基於 FastAPI 的更強大的解決方案,使用 Docker 部署,並允許跨多個裝置進行集中式金鑰管理、支出控制和流量監控。

最大的優勢在於它實現了標準化。如果你想從 GPT-4 切換到 Claude 3.5,無需重寫所有訊息邏輯;LiteLLM 會自動處理。 令牌映射 並且其格式使得任何提供者看起來都像是在使用 OpenAI API。此外,由於其係統,它還提供了令人難以置信的彈性。 負載平衡和後座力如果主模型發生故障或達到速度限制,則會將請求重新導向至備用模型。

獨家內容 - 點擊這裡  Adobe 將 Photoshop、Express 和 Acrobat 引入 ChatGPT 聊天室
如何在 LiteLLM 中查看令牌使用情況和記錄
如何在 LiteLLM 中查看令牌使用情況和記錄
LiteLLM 與 OpenRouter
相關文章:
LiteLLM 與 OpenRouter:區別及各自適用場景

入門指南:安裝和設定

 

如果想要避免依賴性問題,最好的做法是 使用 Docker 部署 LiteLLM過程很簡單:克隆儲存庫,配置你的 萬能鑰匙和鹽鑰匙 (用於加密憑證)在 .env 檔案中,並使用 docker-compose 啟動容器。啟動並運行後,您可以透過 4000 連接埠存取介面,開始註冊您的模型。

要新增型號,只需前往管理部分並選擇供應商即可。最棒的是,您可以… 自訂名稱 您可以對模型進行分類,並為其分配特定的成本或輸入令牌參數。例如,您可以使用 Groq 的超快速模型,利用其 LPU 來獲得近乎瞬時的反應。

相互連接的數位球體的抽象表示,象徵著 Open WebUI 和 LiteLLM 之間的整合和資料流。
相關文章:
如何將 LiteLLM 與 Open WebUI 連接

檢查代幣消耗和成本

最常見的問題之一是如何知道我們花了多少錢。如果您使用 SDK,則可以直接透過以下方式存取成本資訊: 隱藏參數 應對措施,尤其是在現場。 _hidden_params對於那些需要更專業、更非同步控制的用戶,可以使用該功能。 acount_tokens 這樣你就可以計算出 令牌計數 通話前或通話後,包括使用系統工具和訊息。

如果您正在尋找自動化和視覺化跟踪,請考慮與以下系統的整合: MLflow 這就是關鍵。透過啟用設定 mlflow.litellm.autolog()系統會自動記錄問題、答案、延遲,以及最重要的資訊。 代幣使用及成本記錄 MLflow 實驗中的所有內容,這樣你就不會錯過任何細節。

獨家內容 - 點擊這裡  如何在 Windows 上無錯誤地安裝 CUDA:開發者和創作者的指南
使用 Docker 部署 LiteLLM
如何在 LiteLLM 中查看令牌使用情況和記錄

技術實現和程式碼範例

提出請求時,格式至關重要:您應該始終使用大綱。 供應商/型號名稱如果你在 Python 中使用串流處理,LiteLLM SDK 允許你遍歷回應片段,這樣使用者就不必等待文字完整顯示。

財務監控器顯示即時數據圖表,代表人工智慧成本和預算追蹤。
相關文章:
如何在 LiteLLM 中設定每個使用者的消費限額
  • 與 OpenAI SDK 搭配使用: 您可以配置 base_url 遷移到您的 LiteLLM 實例並使用標準 OpenAI 用戶端,簡化程式碼遷移。
  • 透過 cURL 呼叫: 可以直接向聊天完成端點發出 POST 請求,這有助於將其整合到不使用 Python 的系統中。
  • 與 OpenClaw 整合: 它允許集中註冊和創建 具有消費限額的虛擬鑰匙 避免每月帳單出現意外狀況。
如何安裝 LiteLLM 並將多個 AI API 合併到一個應用程式中
相關文章:
如何安裝 LiteLLM 並將多個 AI API 合併到一個應用程式中

企業環境中的安全性與部署

LiteLLM 的功能不僅限於檢查日誌和令牌消耗。從個人專案過渡到企業專案時,安全性至關重要。 LiteLLM 集中管理憑證,防止 API 金鑰在程式碼中暴露。此外,它還支援… 代理配置 透過專用網路路由流量,從而遵守嚴格的法規,例如: GDPR 或 CCPA.

然而,現實點說:維護高可用性代理需要基礎設施。為了使費用日誌記錄和速率限制正常運作,您需要設定一個實例。 Redis 用於緩存 以及一個資料庫 PostgreSQL 用於日誌如果團隊不想管理資料庫,可以使用 TrueFoundry 等託管替代方案,從而消除這種維運負擔。

進階選項和治理

對於規模較大的組織,該工具提供企業版,除了在 LiteLLM 中查看日誌和令牌消耗情況外,還解鎖了其他關鍵功能。例如: 單一登入 (SSO) 以及基於角色的存取控制 (RBAC)。這可以防止主密鑰在 Slack 頻道中隨意傳播,並讓公司的首席資訊安全官 (CISO) 安心,因為他/她清楚知道誰有權訪問哪個模型。

獨家內容 - 點擊這裡  Windows Hello 錯誤 0x80090016:PIN 碼已失效

此外,也具備執行能力。 微調 無需修改前端程式碼即可靈活切換後端,這使其成為一項戰略利器。無論是透過 OpenAI 相容的方式管理映像,還是使用 Ollama 實現本地模型,其多功能性都是其最大的優勢。

最終,LiteLLM 中查看令牌日誌和消耗情況的功能極大地簡化了數十家 AI 提供者之間的互通性,使企業能夠透過使用代理、SDK 和 MLflow 等監控工具,全面掌控支出和效能。透過將 API 統一到通用標準下,企業可以優化成本並擴展應用程序,而無需受限於單一技術供應商。

解決 LiteLLM 與 OpenAI 之間的連線問題
相關文章:
解決 LiteLLM 與 OpenAI 之間的連線問題
丹尼爾·特拉薩

Daniel Terrasa

專門研究技術和互聯網問題的編輯,在不同數位媒體領域擁有十多年的經驗。我曾在電子商務、通訊、線上行銷和廣告公司擔任編輯和內容創作者。我還在經濟、金融和其他領域的網站上撰寫過文章。我的工作也是我的熱情所在。現在,透過我的文章 Tecnobits,我嘗試探索科技世界每天為我們提供的所有新聞和新機會,以改善我們的生活。