Cómo instalar LiteLLM y reunir varias API de IA en una sola

En esta entrada te contamos cómo instalar LiteLLM y reunir varias API de IA en una sola. Esto conviene sobre todo si trabajar con varios modelos de lenguaje (LLM) y necesitas aplicar una gestión más centralizada y ordenada. LiteLLM es una de las mejores alternativas para usar una única API compatible con OpenAI que dé acceso a múltiples proveedores.

Instalar LiteLLM: una sola API para acceder a múltiples proveedores de IA

¿Tienes un proyecto que usa OpenAI, otro con Claude, uno más con Gemini y otro corriendo localmente con Ollama? Entonces sabes lo difícil que puede ser gestionar múltiples API, diferentes SDK y distintos modos de conexión entre proveedores. ¿Solución? Instalar LiteLLM y reunir varias API de IA en una sola puede acabar con tanto caos y devolverte el control.

Al igual que OpenRouter, LiteLLM viene a resolver el mismo problema fundamental: ofrecer una única API compatible con OpenAI para acceder a múltiples proveedores de modelos de IA. Las dos exponen un endpoint compatible con OpenAI, dan acceso a decenas de modelos y proveedores y facilitan el control de gastos, entre otras funciones.

¿Y en qué se diferencian? Principalmente, en el modelo de despliegue. Mientras OpenRouter es un endpoint remoto al que te conectas directamente, LiteLLM se ejecuta en tu propia máquina o servidor (vía Docker o Python). Esto convierte a LiteLLM en el preferido de quienes necesitan cumplir requisitos estrictos de residencia de datos o privacidad.

Lo interesante es que muchos equipos combinan ambas herramientas. Usan LiteLLM como gateway interno y configuran OpenRouter como un proveedor más detrás. Así consiguen control total sobre su endpoint mientras aprovechan el catálogo de OpenRouter desde el backend (Mira la entrada Cómo crear y configurar una cuenta de OpenRouter). Dicho esto, hablemos ahora de cómo instalar LiteLLM y reunir varias API de IA en una sola.

Cómo instalar LiteLLM y reunir varias API de IA en una sola

LiteLLM ofrece dos formas de uso: puedes instalarlo como un SDK básico de Python mediante pip install litellm, o desplegarlo como un servidor proxy (para equipos y producción). Si quieres instalar LiteLLM y reunir varias API de IA en una sola necesitas el proxy, ya que expone un endpoint HTTP centralizado donde configuras todos tus modelos. Entonces, nos concentraremos en este último.

La manera más eficiente de ejecutar LiteLLM como un servidor proxy es desplegándolo en un contenedor con Docker. Así te aseguras de que funcione como un servicio independiente en segundo plano en tu ordenador o servidor. Además, con Docker puedes orquestar un enrutamiento complejo, límites de gastos por equipo y rotación de claves en un único archivo YAML.

Lo primero para instalar LiteLLM y reunir varias API de IA en una sola es crear la estructura del proyecto. Para ello, abre tu terminal y crea una carpeta dedicada para la configuración del proxy ejecutando el siguiente comando mkdir litellm-proxy && cd litellm-proxy. Hecho esto, puedes pasar a configurar el archivo YAML de modelos, que es el punto central para la unificación.

Configuración del archivo YAML de modelos

A continuación, hay que configurar el archivo YAML para definir qué modelos de lenguaje quieres exponer y cómo conectarte a ellos. Naturalmente, necesitas tener las claves API de cada uno: lo que vamos a hacer es unificarlas todas en una misma configuración. También necesitas el nombre exacto de cada modelo.

Además de enlistar los modelos, en el archivo YAML conviene definir qué modelos servirán de respaldo en caso de que el principal falle. Observa con atención la siguiente estructura para ver esos detalles. En el siguiente archivo unificaremos proveedores comerciales (OpenAI, Anthropic, Gemini), servicios como OpenRouter y modelos locales ejecutados en Ollama.  La estructura del archivo YAML quedaría así:

model_list:
      # Modelo comercial 1: OpenAI
      - model_name: gpt-4o
         litellm_params:
           model: gpt-4o
           api_key: os.environ/OPENAI_API_KEY

      # Modelo comercial 2: Anthropic Claude
      - model_name: claude-3-5-sonnet
         litellm_params:
           model: claude-3-5-sonnet-20240620
           api_key: os.environ/ANTHROPIC_API_KEY

      # Agregador externo: OpenRouter
      - model_name: openrouter-llama
         litellm_params:
           model: openrouter/meta-llama/llama-3.1-70b-instruct
           api_key: os.environ/OPENROUTER_API_KEY

      # Modelo local: Ollama
      - model_name: llama3-local
         litellm_params:
           model: ollama/llama3
           api_base: http://host.docker.internal:11434

router_settings:
    num_retries: 3
    timeout: 15
    fallbacks:
       - gpt-4o: ["claude-3-5-sonnet", "openrouter-llama"]

Definir las variables de entorno y desplegar el contenedor de LiteLLM

Acto seguido, hay que crear un archivo .env en el mismo directorio para almacenar tus claves API privadas sin exponerlas en el código. Notarás que en el archivo confi.yaml anterior no están anotadas las claves a fin de no exponerlas. Por eso, es necesario reunirlas todas en un único archivo .env como el siguiente:

OPENAI_API_KEY=sk-proj-tu-clave-aqui
ANTHROPIC_API_KEY=sk-ant-tu-clave-aqui
OPENROUTER_API_KEY=sk-or-tu-clave-aqui
LITELLM_MASTER_KEY=sk-mi-clave-maestra-proxy

¡Y ya está! De esta manera puedes instalar LiteLLM y reunir varias API de IA en una sola. Lo que queda por hacer es levantar el contenedor oficial de LiteLLM asegurándonos de vincularlo con la configuración anterior y las variables de entorno. Esto puedes hacerlo ejecutando el siguiente comando:

docker run -d \
    --name litellm-proxy \
    -p 4000:4000 \
    --env-file .env \
    -v $(pwd)/config.yaml:/app/config.yaml \
    ghcr.io/berriai/litellm:main-latest \
    --config /app/config.yaml --port 4000

Verificación y prueba del gateway unificado

Finalmente, vamos a verificar que el proceso de instalar LiteLLM y reunir varias API de IA en una sola se haya realizado correctamente. Si todo va bien y con el contenedor ya iniciado, LiteLLM estará escuchando en http://localhost:4000. A partir de este momento, cualquier aplicación o script comercial compatible con la API de OpenAI podrá utilizar tu proxy de LiteLLM.

¿Te gustaría hacer una prueba? Intenta enviando una petición HTTP utilizando la clave maestra definida en tu archivo .env. Sería algo así:

curl --location 'http://localhost:4000/v1/chat/completions' \
--header 'Authorization: Bearer sk-mi-clave-maestra-proxy' \
--header 'Content-Type: application/json' \
--data '{
       "model": "gpt-4o",
       "messages": [
                {"role": "user", "content": "Genera una lista de 3 buenas prácticas para microservicios."}
       ]
}'

LiteLLM: una sola API para controlarlas a todas

Ya ves que instalar LiteLLM y reunir varias API de IA en una sola es un proceso sencillo y verdaderamente útil. LiteLLM, instalado como proxy con Docker, te ofrece un punto de acceso único y controlado por ti para todas tus API de IA. A diferencia de OpenRouter (que es un servicio SaaS gestionado), LiteLLM te da control total sobre tus datos y costes. Esto sí, a cambio tienes que mantener tu propia infraestructura.

La instalación con Docker es el camino recomendado para equipos. En minutos tienes un gateway centralizado donde se reúnen OpenAI, Anthropic, Gemini, modelos locales y OpenRouter inclusive, todo expuesto bajo un mismo endpoint compabile con OpenAI. Pruébalo: centraliza tus claves y modelos con LiteLLM. Tu código y tu cordura te lo agradecerán.