Trong bài viết này, chúng tôi sẽ hướng dẫn bạn cách cài đặt LiteLLM và hợp nhất một số API AI thành một. Điều này đặc biệt hữu ích nếu bạn làm việc với nhiều Mô hình Ngôn ngữ (LLM) và cần... triển khai một hệ thống quản lý tập trung và có tổ chức hơn.LiteLLM là một trong những lựa chọn thay thế tốt nhất để sử dụng một API duy nhất tương thích với OpenAI, cung cấp quyền truy cập vào nhiều nhà cung cấp khác nhau.
Cài đặt LiteLLM: một API duy nhất để truy cập nhiều nhà cung cấp AI.
Bạn có một dự án sử dụng OpenAI, một dự án khác với Claude, một dự án nữa với Gemini, và một dự án khác chạy cục bộ với Ollama không? Nếu vậy, bạn sẽ hiểu việc này khó khăn như thế nào. Quản lý nhiều API, nhiều SDK và nhiều chế độ kết nối khác nhau giữa các nhà cung cấp.Giải pháp là gì? Cài đặt LiteLLM và kết hợp nhiều API AI thành một có thể chấm dứt sự hỗn loạn và giúp bạn lấy lại quyền kiểm soát.
Giống như OpenRouter, LiteLLM cũng hướng đến giải quyết cùng một vấn đề cơ bản: Cung cấp một API duy nhất tương thích với OpenAI để truy cập nhiều nhà cung cấp mô hình AI.Cả hai đều thể hiện điểm cuối Tương thích với OpenAI, chúng cung cấp quyền truy cập vào hàng chục mô hình và nhà cung cấp, đồng thời hỗ trợ kiểm soát chi phí, cùng nhiều chức năng khác.
Vậy chúng khác nhau ở điểm nào? Chủ yếu là, trong mô hình triển khaiTrong khi OpenRouter là một điểm cuối Khác với máy chủ từ xa mà bạn kết nối trực tiếp, LiteLLM chạy trên máy tính hoặc máy chủ của riêng bạn (thông qua Docker hoặc Python). Điều này khiến LiteLLM trở thành lựa chọn ưu tiên cho những người cần đáp ứng các yêu cầu nghiêm ngặt về lưu trữ dữ liệu hoặc bảo mật thông tin.
Điều thú vị là Nhiều nhóm kết hợp cả hai công cụ này.Họ sử dụng LiteLLM như cổng Họ có thể cấu hình OpenRouter nội bộ và coi nó như một nhà cung cấp khác ở phía sau. Điều này giúp họ kiểm soát hoàn toàn hệ thống của mình. điểm cuối đồng thời tận dụng danh mục OpenRouter từ phần phụ trợ (Xem mục nhập) Hướng dẫn cách tạo và cấu hình tài khoản OpenRouterNhư vậy, giờ chúng ta hãy cùng tìm hiểu cách cài đặt LiteLLM và tích hợp một số API AI vào một hệ thống duy nhất.
Hướng dẫn cài đặt LiteLLM và kết hợp nhiều API AI thành một.
LiteLLM Nó cung cấp hai cách để sử dụng.Bạn có thể cài đặt nó như một bộ SDK Python cơ bản bằng cách sử dụng pip install litellmHoặc triển khai nó như một máy chủ proxy (cho nhóm và môi trường sản xuất). Nếu bạn muốn cài đặt LiteLLM và hợp nhất một số API AI thành một, bạn cần proxy, vì nó cung cấp một... điểm cuối HTTP tập trung, nơi bạn cấu hình tất cả các mô hình của mình. Vì vậy, chúng ta sẽ tập trung vào phần sau.
La cách hiệu quả hơn Để chạy LiteLLM như một máy chủ proxy, bạn cần triển khai nó trong một container Docker. Điều này đảm bảo nó chạy như một dịch vụ độc lập trong nền trên máy tính hoặc máy chủ của bạn. Hơn nữa, Docker cho phép bạn điều phối định tuyến phức tạp, giới hạn chi tiêu cho mỗi thiết bị và xoay vòng khóa trong một tệp YAML duy nhất.
Bước đầu tiên để cài đặt LiteLLM và kết hợp nhiều API AI thành một là tạo cấu trúc dự ánĐể thực hiện việc này, hãy mở terminal và tạo một thư mục riêng để cấu hình proxy bằng cách chạy lệnh sau: mkdir litellm-proxy && cd litellm-proxySau khi hoàn thành bước này, bạn có thể chuyển sang cấu hình tệp mô hình YAML, đây là điểm mấu chốt để thống nhất dữ liệu.
Cấu hình tệp YAML của mô hình
Tiếp theo, chúng ta cần phải Hãy cấu hình tệp YAML để xác định các mô hình ngôn ngữ bạn muốn hiển thị và cách kết nối với chúng.Tất nhiên, bạn cần các khóa API cho từng thiết bị: điều chúng ta sẽ làm là hợp nhất tất cả chúng thành một cấu hình duy nhất. Bạn cũng cần tên chính xác của từng model.
Ngoài việc liệt kê các mô hình, tệp YAML cũng cần xác định mô hình nào sẽ đóng vai trò là bản sao lưu trong trường hợp mô hình chính gặp sự cố. Hãy xem xét kỹ cấu trúc sau để biết thêm chi tiết. Trong tập tin sau đây, chúng ta sẽ hợp nhất Các nhà cung cấp thương mại (OpenAI, Anthropic, Gemini), các dịch vụ như OpenRouter và các mô hình cục bộ chạy trên Ollama. Cấu trúc tệp YAML sẽ trông như thế này:
model_list: # Mô hình kinh doanh 1: OpenAI - model_name: gpt-4o litellm_params: model: gpt-4o api_key: os.environ/OPENAI_API_KEY # Mô hình kinh doanh 2: Anthropic Claude - model_name: claude-3-5-sonnet litellm_params: model: claude-3-5-sonnet-20240620 api_key: os.environ/ANTHROPIC_API_KEY # Bộ tổng hợp bên ngoài: OpenRouter - model_name: openrouter-llama litellm_params: model: openrouter/meta-llama/llama-3.1-70b-instruct api_key: os.environ/OPENROUTER_API_KEY # Mô hình cục bộ: Ollama - model_name: llama3-local litellm_params: model: llama/llama3 api_base: http://host.docker.internal:11434 router_settings: num_retries: 3 timeout: 15 fallbacks: - gpt-4o: ["claude-3-5-sonnet", "openrouter-llama"]
Xác định các biến môi trường và triển khai container LiteLLM.
Tiếp theo, bạn cần tạo một tệp .env trong cùng thư mục để lưu trữ các khóa API riêng tư mà không để lộ chúng trong mã nguồn. Bạn sẽ nhận thấy rằng các khóa không được chú thích trong tệp confi.yaml trước đó để tránh việc lộ chúng. Do đó, cần phải tập hợp tất cả chúng vào một tệp duy nhất. Tệp .env như sau:
OPENAI_API_KEY=sk-proj-your-key-here ANTHROPIC_API_KEY=sk-ant-your-key-here OPENROUTER_API_KEY=sk-or-your-key-here LITELLM_MASTER_KEY=sk-my-master-proxy-key
Và thế là xong! Đây là cách bạn cài đặt LiteLLM và kết hợp nhiều API AI thành một. Việc còn lại cần làm là... Khởi động container LiteLLM chính thức, đảm bảo liên kết nó với cấu hình và các biến môi trường đã nêu ở trên.Bạn có thể thực hiện việc này bằng cách chạy lệnh sau:
docker run -d \ --name litellm-proxy \ -p 4000:4000 \ --env-file .env \ -v $(pwd)/config.yaml:/app/config.yaml \ ghcr.io/berriai/litellm:main-latest \ --config /app/config.yaml --port 4000
Xác minh và kiểm tra cổng thống nhất
Cuối cùng, chúng ta sẽ xác minh rằng quá trình cài đặt LiteLLM và hợp nhất một số API AI thành một đã thành công. Nếu mọi thứ diễn ra tốt đẹp và container đã chạy, LiteLLM sẽ lắng nghe http://localhost:4000Kể từ thời điểm này trở đi, bất kỳ ứng dụng hoặc tập lệnh thương mại nào tương thích với API của OpenAI đều có thể sử dụng API của bạn. máy chủ proxy Từ LiteLLM.
Bạn có muốn thử không? Hãy thử gửi một tin nhắn. Yêu cầu HTTP Sử dụng khóa chính được định nghĩa trong tệp .env của bạn. Nó sẽ trông giống như thế này:
curl --location 'http://localhost:4000/v1/chat/completions' \ --header 'Authorization: Bearer sk-my-master-key-proxy' \ --header 'Content-Type: application/json' \ --data '{ "model": "gpt-4o", "messages": [ {"role": "user", "content": "Tạo danh sách 3 phương pháp hay nhất cho kiến trúc microservices."} ] }'
LiteLLM: một API duy nhất để điều khiển tất cả chúng
Như bạn thấy, việc cài đặt LiteLLM và kết hợp nhiều API AI thành một là một quá trình đơn giản và thực sự hữu ích. LiteLLM, được cài đặt như một máy chủ proxy với Docker, cung cấp cho bạn một điểm truy cập duy nhất, do người dùng kiểm soát, cho tất cả các API AI của bạn.Khác với OpenRouter (một dịch vụ SaaS được quản lý), LiteLLM cho phép bạn kiểm soát hoàn toàn dữ liệu và chi phí của mình. Tuy nhiên, đổi lại, bạn phải tự duy trì cơ sở hạ tầng của riêng mình.
Cài đặt bằng Docker là phương pháp được khuyến nghị cho các nhóm. Bạn có thể thiết lập một cổng kết nối tập trung chỉ trong vài phút. Nơi mà OpenAI, Anthropic, Gemini, các mô hình cục bộ, và thậm chí cả OpenRouter cùng hội tụ, tất cả đều được hiển thị dưới một điểm cuối tương thích với OpenAI duy nhất. Hãy thử: tập trung hóa khóa và mô hình của bạn với LiteLLM. Mã của bạn và sự tỉnh táo của bạn sẽ cảm ơn bạn.
Từ nhỏ, tôi đã say mê mọi thứ liên quan đến khoa học và công nghệ, đặc biệt là những tiến bộ giúp cuộc sống của chúng ta dễ dàng và thú vị hơn. Tôi thích cập nhật những tin tức và xu hướng mới nhất, và chia sẻ kinh nghiệm, ý kiến và lời khuyên của mình về các thiết bị và tiện ích mà tôi sử dụng. Điều này đã dẫn tôi trở thành một người viết nội dung web cách đây hơn năm năm, chủ yếu tập trung vào các thiết bị Android và hệ điều hành Windows. Tôi đã học cách giải thích các khái niệm phức tạp bằng những thuật ngữ đơn giản để người đọc có thể dễ dàng hiểu được.