如何在 LiteLLM 中查看令牌使用情况和记录

想象一下，你的公司决定大力投资人工智能，但突然间却遇到了难题：每种语言模型都有自己的规则，它们的 API 也各不相同，管理所有这些混乱局面简直成了技术噩梦。在本文中，我们将探讨如何解决这个问题。 查看LiteLLM上的记录和代币消耗情况， 最受欢迎的之一。

这 该工具基本上起到以下作用： 通用翻译器 对于LLM（法学硕士）来说，与其记忆每个供应商的文档，不如使用这个库，它将所有内容统一到一个标准下，让您可以轻松地在不同模型之间切换，并将精力集中在真正为业务增值的事情上。

LiteLLM究竟是什么？它为何如此引人关注？

 

为避免混淆，我们需要明白： LiteLLM 它并非单一事物，而是以两种形式存在。一方面，我们有…… Python SDK这是一个轻量级软件包，可以通过 pip 安装，它可以将你的请求转换成 Claude 或 Gemini 等模型可以理解的格式。另一方面，还有…… 代理服务器一个基于 FastAPI 的更强大的解决方案，使用 Docker 部署，并允许跨多个设备进行集中式密钥管理、支出控制和流量监控。

最大的优势在于它实现了标准化。如果你想从 GPT-4 切换到 Claude 3.5，无需重写所有消息逻辑；LiteLLM 会自动处理。 令牌映射 并且其格式使得任何提供商看起来都像是在使用 OpenAI API。此外，由于其系统，它还提供了令人难以置信的弹性。 负载平衡和后坐力如果主模型发生故障或达到速度限制，则会将请求重定向到备用模型。

入门指南：安装和设置

 

如果想要避免依赖性问题，最好的做法是 使用 Docker 部署 LiteLLM过程很简单：克隆存储库，配置你的 万能钥匙和盐钥匙 （用于加密凭据）在 .env 文件中，并使用 docker-compose 启动容器。启动并运行后，您可以通过 4000 端口访问界面，开始注册您的模型。

要添加新型号，只需前往管理部分并选择供应商即可。最棒的是，您可以…… 自定义名称 您可以对模型进行分类，并为其分配特定的成本或输入令牌参数。例如，您可以使用 Groq 的超快速模型，利用其 LPU 来获得近乎瞬时的响应。

检查代币消耗和成本

最常见的问题之一是如何知道我们花了多少钱。如果您使用 SDK，则可以直接通过以下方式访问成本信息： 隐藏参数 应对措施，尤其是在现场。 _hidden_params对于那些需要更专业、更异步控制的用户，可以使用该功能。 acount_tokens 这样你就可以计算出 令牌计数 通话前或通话后，包括使用系统工具和消息。

如果您正在寻找自动化和可视化跟踪，请考虑与以下系统的集成： MLflow 这就是关键。通过激活 mlflow.litellm.autolog()系统会自动记录问题、答案、延迟，以及最重要的信息。 代币使用及成本记录 MLflow 实验中的所有内容，这样你就不会错过任何细节。

技术实现和代码示例

提出请求时，格式至关重要：您应该始终使用大纲。 供应商/型号名称如果你在 Python 中使用流式处理，LiteLLM SDK 允许你遍历响应片段，这样用户就不必等待文本完整显示。

• 与 OpenAI SDK 配合使用： 您可以配置 base_url 迁移到您的 LiteLLM 实例并使用标准 OpenAI 客户端，简化代码迁移。
• 通过 cURL 调用： 可以直接向聊天完成端点发出 POST 请求，这有助于将其集成到不使用 Python 的系统中。
• 与 OpenClaw 集成： 它允许集中注册和创建 具有消费限额的虚拟钥匙 避免每月账单出现意外情况。

企业环境中的安全性和部署

LiteLLM 的功能不仅限于检查日志和令牌消耗。从个人项目过渡到企业项目时，安全性至关重要。LiteLLM 集中管理凭据，防止 API 密钥在代码中暴露。此外，它还支持…… 代理配置 通过专用网络路由流量，从而遵守严格的法规，例如： GDPR 或 CCPA.

然而，现实点说：维护高可用性代理需要基础设施。为了使费用日志记录和速率限制正常工作，您需要设置一个实例。 Redis 用于缓存 以及一个数据库 PostgreSQL 用于日志如果团队不想管理数据库，可以使用 TrueFoundry 等托管替代方案，从而消除这种运维负担。

高级选项和治理

对于规模较大的组织，该工具提供企业版，除了在 LiteLLM 中查看日志和令牌消耗情况外，还解锁了其他关键功能。例如： 单点登录 (SSO) 以及基于角色的访问控制 (RBAC)。这可以防止主密钥在 Slack 频道中随意传播，并让公司的首席信息安全官 (CISO) 安心，因为他/她清楚地知道谁有权访问哪个模型。

此外，还具备执行能力。 微调 无需修改前端代码即可灵活切换后端，这使其成为一项战略利器。无论是通过 OpenAI 兼容的方式管理图像，还是使用 Ollama 实现本地模型，其多功能性都是其最大的优势。

最终，LiteLLM 中查看令牌日志和消耗情况的功能极大地简化了数十家 AI 提供商之间的互操作性，使企业能够通过使用代理、SDK 和 MLflow 等监控工具，全面掌控支出和性能。通过将 API 统一到通用标准下，企业可以优化成本并扩展应用程序，而无需受限于单一技术供应商。