Come installare LiteLLM e combinare più API di IA in una sola

In questo post ti spiegheremo come installare LiteLLM e consolidare diverse API AI in una sola. Questo è particolarmente utile se lavori con più modelli linguistici (LLM) e hai bisogno di implementare un sistema di gestione più centralizzato e organizzatoLiteLLM è una delle migliori alternative per utilizzare un'unica API compatibile con OpenAI che fornisce accesso a più provider.

Installa LiteLLM: un'unica API per accedere a più provider di intelligenza artificiale.

Hai un progetto che usa OpenAI, un altro con Claude, un altro ancora con Gemini e un altro in esecuzione in locale con Ollama? Allora sai quanto può essere difficile. Gestire più API, diversi SDK e diverse modalità di connessione tra i provider.La soluzione? Installare LiteLLM e combinare diverse API di intelligenza artificiale in una sola può porre fine al caos e restituirvi il controllo.

Come OpenRouter, LiteLLM mira a risolvere lo stesso problema fondamentale: offrire un'unica API compatibile con OpenAI per accedere a più fornitori di modelli di intelligenza artificialeEntrambi mostrano un punto finale Compatibili con OpenAI, offrono accesso a decine di modelli e fornitori e facilitano il controllo delle spese, tra le altre funzioni.

E in cosa differiscono? Principalmente, nel modello di implementazioneSebbene OpenRouter sia un punto finale A differenza di un server remoto a cui ci si connette direttamente, LiteLLM viene eseguito sulla propria macchina o server (tramite Docker o Python). Questo rende LiteLLM la scelta ideale per chi deve rispettare rigorosi requisiti di residenza dei dati o di privacy.

La cosa interessante è che Molti team combinano entrambi gli strumentiUtilizzano LiteLLM come gateway internamente e configurare OpenRouter come un altro provider in background. Ciò dà loro il controllo totale sul loro punto finale sfruttando il catalogo OpenRouter dal backend (Vedi la voce) Come creare e configurare un account OpenRouterDetto questo, vediamo ora come installare LiteLLM e integrare diverse API di intelligenza artificiale in un'unica soluzione.

Come installare LiteLLM e combinare più API di IA in una sola

LiteLLM Offre due modi per utilizzarloÈ possibile installarlo come SDK Python di base utilizzando pip install litellmoppure distribuirlo come server proxy (per team e produzione). Se vuoi installare LiteLLM e consolidare diverse API AI in una sola, hai bisogno del proxy, poiché espone un punto finale Un protocollo HTTP centralizzato in cui configurare tutti i modelli. Quindi, ci concentreremo su quest'ultimo.

La un modo più efficiente Per eseguire LiteLLM come server proxy, è necessario distribuirlo in un container Docker. Questo garantisce che venga eseguito come servizio autonomo in background sul computer o sul server. Inoltre, Docker consente di orchestrare routing complessi, limiti di spesa per dispositivo e rotazione delle chiavi all'interno di un singolo file YAML.

Il primo passo per installare LiteLLM e combinare diverse API AI in una sola è creare la struttura del progettoPer fare ciò, apri il terminale e crea una cartella dedicata alla configurazione del proxy eseguendo il seguente comando mkdir litellm-proxy && cd litellm-proxyUna volta completata questa operazione, è possibile passare alla configurazione del file modello YAML, che rappresenta il punto centrale per l'unificazione.

Configurazione del file YAML del modello

Successivamente, dobbiamo Configura il file YAML per definire quali modelli linguistici desideri esporre e come connetterti ad essi.Naturalmente, ti servono le chiavi API per ciascuna: quello che faremo è unificarle tutte in un'unica configurazione. Ti serve anche il nome esatto di ogni modello.

Oltre a elencare i modelli, il file YAML deve anche definire quali modelli fungeranno da backup nel caso in cui il modello principale non funzioni. Esaminate attentamente la seguente struttura per visualizzare questi dettagli. Nel file seguente unificheremo Fornitori commerciali (OpenAI, Anthropic, Gemini), servizi come OpenRouter e modelli locali in esecuzione su Ollama. La struttura del file YAML sarebbe la seguente:

model_list: # Modello di business 1: OpenAI - model_name: gpt-4o litellm_params: model: gpt-4o api_key: os.environ/OPENROUTER_API_KEY # Modello di business 2: Anthropic Claude - model_name: claude-3-5-sonnet litellm_params: model: claude-3-5-sonnet-20240620 api_key: os.environ/ANTHROPIC_API_KEY # Aggregatore esterno: OpenRouter - model_name: openrouter-llama litellm_params: model: openrouter/meta-llama/llama-3.1-70b-instruct api_key: os.environ/OPENROUTER_API_KEY # Modello locale: Ollama - model_name: llama3-local litellm_params: model: llama/llama3 api_base: http://host.docker.internal:11434 router_settings: num_retries: 3 timeout: 15 fallbacks: - gpt-4o: ["claude-3-5-sonnet", "openrouter-llama"]

Definisci le variabili d'ambiente e distribuisci il container LiteLLM

Successivamente, è necessario creare un file .env nella stessa directory per memorizzare le chiavi API private senza esporle nel codice. Noterete che le chiavi non sono annotate nel precedente file confi.yaml per evitare di esporle. Pertanto, è necessario raccoglierle tutte in un unico file. file .env come il seguente:

OPENAI_API_KEY=sk-proj-your-key-here ANTHROPIC_API_KEY=sk-ant-your-key-here OPENROUTER_API_KEY=sk-or-your-key-here LITELLM_MASTER_KEY=sk-my-master-proxy-key

Ed ecco fatto! Ecco come installare LiteLLM e combinare diverse API di IA in una sola. Ciò che resta da fare è Avvia il container ufficiale di LiteLLM, assicurandoti di collegarlo alla configurazione e alle variabili d'ambiente indicate sopra.È possibile farlo eseguendo il seguente comando:

docker run -d \ --name litellm-proxy \ -p 4000:4000 \ --env-file .env \ -v $(pwd)/config.yaml:/app/config.yaml \ ghcr.io/berriai/litellm:main-latest \ --config /app/config.yaml --port 4000

Verifica e test di gateway unificato

Infine, verificheremo che il processo di installazione di LiteLLM e di unione di diverse API AI in una sola sia andato a buon fine. Se tutto è andato bene e il container è già in esecuzione, LiteLLM sarà in ascolto http://localhost:4000Da questo momento in poi, qualsiasi applicazione commerciale o script compatibile con l'API OpenAI potrà utilizzare il tuo procuratore da LiteLLM.

Ti piacerebbe provarlo? Prova a inviare un richiesta HTTP utilizzando la chiave master definita nel file .env. Avrebbe un aspetto simile a questo:

curl --location 'http://localhost:4000/v1/chat/completions' \ --header 'Authorization: Bearer sk-my-master-key-proxy' \ --header 'Content-Type: application/json' \ --data '{ "model": "gpt-4o", "messages": [ {"role": "user", "content": "Genera un elenco di 3 best practice per i microservizi."} ] }'

LiteLLM: un'unica API per controllarli tutti

Come puoi vedere, installare LiteLLM e combinare diverse API AI in una sola è un processo semplice e davvero utile. LiteLLM, installato come proxy con Docker, ti offre Un unico punto di accesso, controllato dall'utente, per tutte le tue API di intelligenza artificiale.A differenza di OpenRouter (che è un servizio SaaS gestito), LiteLLM ti offre il controllo completo sui tuoi dati e sui costi. Tuttavia, in cambio, dovrai occuparti della manutenzione della tua infrastruttura.

L'installazione tramite Docker è la soluzione consigliata per i team. Puoi avere un gateway centralizzato in pochi minuti Dove OpenAI, Anthropic, Gemini, modelli locali e persino OpenRouter si uniscono, tutti esposti sotto un unico endpoint compatibile con OpenAI. Provalo: centralizza le tue chiavi e i tuoi modelli con LiteLLM. Il tuo codice e la tua tranquillità ti ringrazieranno.