Sådan installeres LiteLLM og kombineres flere AI API'er i én

I dette indlæg fortæller vi dig, hvordan du installerer LiteLLM og konsoliderer flere AI API'er til én. Dette er især nyttigt, hvis du arbejder med flere sprogmodeller (LLM'er) og har brug for implementere et mere centraliseret og organiseret ledelsessystemLiteLLM er et af de bedste alternativer til at bruge en enkelt OpenAI-kompatibel API, der giver adgang til flere udbydere.

Installer LiteLLM: en enkelt API for at få adgang til flere AI-udbydere

Har du ét projekt, der bruger OpenAI, et andet med Claude, et mere med Gemini, og et andet, der kører lokalt med Ollama? Så ved du, hvor svært det kan være. administrere flere API'er, forskellige SDK'er og forskellige forbindelsestilstande mellem udbydereLøsningen? Installation af LiteLLM og kombination af flere AI API'er i én kan afslutte kaoset og give dig kontrollen tilbage.

Ligesom OpenRouter sigter LiteLLM mod at løse det samme grundlæggende problem: tilbyde en enkelt OpenAI-kompatibel API for at få adgang til flere AI-modeludbydereBegge udviser en endepunkt De er kompatible med OpenAI og giver adgang til snesevis af modeller og udbydere samt muliggør udgiftsstyring, blandt andre funktioner.

Og hvordan adskiller de sig? Primært, i implementeringsmodellenMens OpenRouter er en endepunkt I modsætning til en fjernserver, du opretter direkte forbindelse til, kører LiteLLM på din egen maskine eller server (via Docker eller Python). Dette gør LiteLLM til det foretrukne valg for dem, der skal opfylde strenge krav til dataopbevaring eller privatliv.

Det interessante er, at Mange teams kombinerer begge værktøjerDe bruger LiteLLM som porten internt og konfigurere OpenRouter som blot endnu en udbyder i baggrunden. Dette giver dem fuld kontrol over deres endepunkt mens du udnytter OpenRouter-kataloget fra backend (Se indlægget) Sådan opretter og konfigurerer du en OpenRouter-kontoNår det er sagt, lad os nu tale om, hvordan man installerer LiteLLM og samler flere AI API'er i én.

Sådan installeres LiteLLM og kombineres flere AI API'er i én

LiteLLM Den tilbyder to måder at bruge den påDu kan installere det som et grundlæggende Python SDK ved hjælp af pip install litellmeller implementere den som en proxyserver (til teams og produktion). Hvis du vil installere LiteLLM og konsolidere flere AI API'er til én, skal du bruge proxyen, da den eksponerer en endepunkt Centraliseret HTTP, hvor du konfigurerer alle dine modeller. Så vi fokuserer på sidstnævnte.

La mere effektiv måde For at køre LiteLLM som en proxyserver skal du installere den i en Docker-container. Dette sikrer, at den kører som en selvstændig tjeneste i baggrunden på din computer eller server. Derudover giver Docker dig mulighed for at orkestrere kompleks routing, forbrugsgrænser pr. enhed og nøglerotation i en enkelt YAML-fil.

Det første trin i at installere LiteLLM og kombinere flere AI API'er til én er opret projektstrukturenFor at gøre dette skal du åbne din terminal og oprette en dedikeret mappe til proxykonfiguration ved at køre følgende kommando: mkdir litellm-proxy && cd litellm-proxyNår dette er gjort, kan du gå videre til konfigurationen af ​​YAML-modelfilen, som er det centrale punkt for forening.

Model YAML-filkonfiguration

Dernæst skal vi Konfigurer YAML-filen til at definere, hvilke sprogmodeller du vil eksponere, og hvordan du opretter forbindelse til dem.Naturligvis skal du bruge API-nøglerne til hver enkelt: det, vi skal gøre, er at samle dem alle i én konfiguration. Du skal også bruge det nøjagtige navn på hver model.

Udover at liste modellerne bør YAML-filen også definere, hvilke modeller der skal fungere som backup, hvis den primære model fejler. Undersøg omhyggeligt følgende struktur for at se disse detaljer. I den følgende fil vil vi forene Kommercielle udbydere (OpenAI, Anthropic, Gemini), tjenester som OpenRouter og lokale modeller, der kører på Ollama. YAML-filstrukturen ville se sådan ud:

model_list: # Forretningsmodel 1: OpenAI - model_name: gpt-4o litellm_params: model: gpt-4o api_key: os.environ/OPENAI_API_KEY # Forretningsmodel 2: Anthropic Claude - model_name: claude-3-5-sonnet litellm_params: model: claude-3-5-sonnet-20240620 api_key: os.environ/ANTHROPIC_API_KEY # Ekstern aggregator: OpenRouter - model_name: openrouter-llama litellm_params: model: openrouter/meta-llama/llama-3.1-70b-instruct api_key: os.environ/OPENROUTER_API_KEY # Lokal model: Ollama - model_name: llama3-local litellm_params: model: llama/llama3 api_base: http://host.docker.internal:11434 router_settings: num_retries: 3 timeout: 15 fallbacks: - gpt-4o: ["claude-3-5-sonnet", "openrouter-llama"]

Definer miljøvariablerne og implementer LiteLLM-containeren

Dernæst skal du oprette en .env-fil i samme mappe for at gemme dine private API-nøgler uden at eksponere dem i koden. Du vil bemærke, at nøglerne ikke er annoteret i den forrige confi.yaml-fil for at undgå at eksponere dem. Derfor er det nødvendigt at samle dem alle i en enkelt fil. .env-fil som følgende:

OPENAI_API_KEY=sk-proj-din-nøgle-her ANTHROPIC_API_KEY=sk-and-din-nøgle-her OPENROUTER_API_KEY=sk-eller-din-nøgle-her LITELLM_MASTER_KEY=sk-min-master-proxynøgle

Og det er det! Sådan installerer du LiteLLM og kombinerer flere AI API'er i én. Det, der mangler, er Start den officielle LiteLLM-container, og sørg for at linke den til ovenstående konfigurations- og miljøvariabler.Du kan gøre dette ved at køre følgende kommando:

docker run -d \ --name litellm-proxy \ -p 4000:4000 \ --env-file .env \ -v $(pwd)/config.yaml:/app/config.yaml \ ghcr.io/berriai/litellm:main-latest \ --config /app/config.yaml --port 4000

Verifikation og testning af porten forenet

Endelig vil vi bekræfte, at processen med at installere LiteLLM og sammenlægge flere AI API'er til én var vellykket. Hvis alt gik godt, og containeren allerede kører, LiteLLM vil lytte med http://localhost:4000Fra nu af vil enhver kommerciel applikation eller ethvert script, der er kompatibelt med OpenAI API, kunne bruge din fuldmagt fra LiteLLM.

Vil du prøve det? Prøv at sende en HTTP-anmodning ved hjælp af masternøglen defineret i din .env-fil. Det ville se nogenlunde sådan ud:

curl --location 'http://localhost:4000/v1/chat/completions' \ --header 'Godkendelse: Bærer sk-my-master-key-proxy' \ --header 'Indholdstype: application/json' \ --data '{ "model": "gpt-4o", "messages": [ {"role": "bruger", "content": "Genererer en liste over 3 bedste praksisser for mikrotjenester."} ] }'

LiteLLM: en enkelt API til at kontrollere dem alle

Som du kan se, er det en simpel og virkelig nyttig proces at installere LiteLLM og kombinere flere AI API'er til én. LiteLLM, installeret som en proxy med Docker, tilbyder dig et enkelt, brugerstyret adgangspunkt til alle dine AI API'erI modsætning til OpenRouter (som er en administreret SaaS-tjeneste) giver LiteLLM dig fuld kontrol over dine data og omkostninger. Til gengæld skal du selv vedligeholde din infrastruktur.

Installation med Docker er den anbefalede metode for teams. Du kan have en centraliseret gateway på få minutter Hvor OpenAI, Anthropic, Gemini, lokale modeller og endda OpenRouter samles, alle eksponeret under et enkelt OpenAI-kompatibelt slutpunkt. Prøv det: centraliser dine nøgler og modeller med LiteLLM. Din kode og din fornuft vil takke dig.