Cómo conectar LiteLLM con OpenRouter

Conectar LiteLLM con OpenRouter es una de las mejores maneras de obtener un proxy local o en la nube altamente flexible. La dupla permite crear una capa de abstracción unificada, capaz de enrutar peticiones a más de cien modelos diferentes. Y lo mejor, todo gestionado desde una única interfaz compatible con la API de OpenAI. Veamos el proceso paso a paso para la configuración inicial y primer uso.

Por qué conectar LiteLLM con OpenRouter

Conectar LiteLLM con OpenRouter tiene claras ventajas. Obviamente, cada herramienta por separado ofrece una solución completa que puede adaptarse a distintos escenarios. Si quieres ahondar un poco en esto, mira el tema LiteLLM vs OpenRouter: diferencias y cuándo utilizar cada uno.

LiteLLM te permite usar la misma interfaz para llamar a modelos de OpenAI, Anthropic, Cohere, Hugging Face, y muchos más. Con esta herramienta, cambiar de modelo es tan sencillo como modificar un string en tu código. Además, ofrece funcionalidades avanzadas como gestión de costes, logging, caching y balanceo de carga (Mira la entrada Cómo instalar LiteLLM y reunir varias API de IA en una sola).

OpenRouter, por su parte, agrega una capa adicional de valor: no solo unifica proveedores, sino que también te da acceso a modelos que de otra forma serían difíciles de obtener. También permite comparar modelos lado a lado, y ofrece opciones gratuitas o de muy bajo coste para experimentar.

Pero ahora es momento de ver a ambas herramientas jugando para el mismo equipo. ¿Qué consigues al conectar LiteLLM con OpenRouter? Por un lado, obtienes un único punto de entrada a cientos de modelos, con la posibilidad de cambiar entre ellos sin modificar la lógica de tu negocio. Por el otro, puedes aprovechar la flexibilidad de LiteLLM (timeouts, retries, seguimiento de costes) combinada con el catálogo de OpenRouter.

Paso 1: Crear tu clave de API en OpenRouter

Si ya tienes una cuenta OpenRouter y LiteLLM instalado en tu máquina, salta al paso 3. Si no, lo primero para conectar LiteLLM con OpenRouter es generar una clave API en OpenRouter. La vas a necesitar para establecer contacto y autorizar a LiteLLM de utilizar los proveedores configurados.

Para empezar, crea una cuenta en OpenRouter desde openrouter.ai. Una vez dentro, ve a Settings – API Keys y genera una clave nueva. Como último paso, conviene guardarla en tu archivo de entorno .env (OPENROUTER_API_KEY=tu_clave_aquí). Encontrarás una guía más detallada en la entrada Cómo crear y configurar una cuenta de OpenRouter.

Paso 2: Instalar LiteLLM

El segundo paso a todavía más sencillo. Instalar LiteLLM es tan simple como ejecutar el siguiente comando en tu terminal pip install litellm. Si planeas utilizar LiteLLM en su modalidad de servidor proxy (paso 4), instala las dependencias adicionales del servidor con el comando pip install 'litellm[proxy]'. Es lo recomendado para integrar aplicaciones con interfaz de usuario, como AnythingLLM, Open WebUI o Dify.

Paso 3: Conectar LiteLLM con OpenRouter

En este paso vamos a conectar LiteLLM con OpenRouter una vez instaladas y configuradas ambas herramientas. Básicamente, existen dos formas principales de utilizar una con la otra: mediante código Python directo o mediante un servidor proxy configurado a través de un archivo config.yaml.

Veamos cómo conectar LiteLLM con OpenRouter mediante código Python. Como LiteLLM soporta OpenRouter de forma nativa, solo tienes que definir el proveedor y el modelo. Un ejemplo básico de esto quedaría así:

import litellm

response = litellm.completion(
       model="openrouter/anthropic/claude-3.5-sonnet",
       api_key=os.getenv("OPENROUTER_API_KEY"),
       messages=[{"role": "user", "content": "Hola, ¿cómo estás?"}]
)

print(response)

Así, LiteLLM detecta automáticamente que el modelo pertenece a OpenRouter y enruta la petición. De esta manera tan sencilla, estás accediendo a un modelo de Anthropic a través de OpenRouter usando la interfaz unificada de LiteLLM.

Paso 4: Despliegue del servidor proxy

También se puede conectar LiteLLM con OpenRouter mediante un servidor proxy, muy útil para aplicaciones web, móviles o backend que necesitan estabilidad y monitoreo. La forma más organizada de hacerlo es configurando un archivo YAML en tu directorio de trabajo. Un ejemplo de su estructura sería el siguiente:

model_list:
      - model_name: openrouter-claude
        litellm_params:
          model: openrouter/anthropic/claude-3.5-sonnet
          api_key: os.environ/OPENROUTER_API_KEY

      - model_name: openrouter-llama
        litellm_params:
          model: openrouter/meta-llama/llama-3.1-70b-instruct
          api_key: os.environ/OPENROUTER_API_KEY

      - model_name: openrouter-gpt4o
        litellm_params:
          model: openrouter/openai/gpt-4o
          api_key: os.environ/OPENROUTER_API_KEY

Con un archivo de este tipo le estableces los modelos que deseas utilizar y le dices a LiteLLM que dirija las solicitudes a la infraestructura de OpenRouter. Una vez todo quede configurado, solo tienes que iniciar el servidor proxy de LiteLLM con el comando litellm --config config.yaml. Por defecto, se iniciará un servidor local accesible en http://localhost:4000. El servidor expone endpoints estándar compatibles con OpenAI, como /v1/chat/completions y /v1/models.

Paso 5: Configurar modelos de respaldo

No podemos hablar de conectar LiteLLM con OpenRouter sin destacar cómo configurar un modelo de respaldo. Una de las mayores ventajas de integrar ambas herramientas es que puedes implementar estrategias de tolerancia de fallos. Así, si un proveedor específico se cae o satura, LiteLLM puede redirigir la petición automáticamente a un modelo secundario predefinido. Un ejemplo de cómo quedaría el archivo YAML de respaldo es:

model_list:
      - model_name: mi-modelo-principal
        litellm_params:
          model: openrouter/anthropic/claude-3.5-sonnet
          api_key: os.environ/OPENROUTER_API_KEY
     - model_name: mi-modelo-respaldo
       litellm_params:
         model: openrouter/openai/gpt-4o-mini
         api_key: os.environ/OPENROUTER_API_KEY

router_settings:
    fallbacks: [{"mi-modelo-principal": ["mi-modelo-respaldo"]}]

Con una regla como está, si la llamada a Claude 3.5 Sonnet a través de OpenRouter falla por timeout o error de servidor, el proxy reintentará la petición utilizando GPT-4o Mini. Hacer esto es especialmente útil si estás alimentando aplicaciones críticas, bots de atención al cliente o plataformas de análisis.

Conectar LiteLLM con OpenRouter: un acierto seguro

Es un hecho que conectar LiteLLM con OpenRouter es una de las formas más eficientes y flexibles de trabajar con modelos de lenguaje a día de hoy. Conviene combinarlas en casi cualquier escenario, tanto si estás desarrollando una aplicación individual como si gestionas la infraestructura IA de toda una empresa.

Con esta combinación consigues una interfaz única para cientos de modelos y la posibilidad de cambiar entre ellos sin reescribir código. También te entrega un mayor control, facilitando la gestión de claves, costes y logs.

LiteLLM simplifica la integración, mientras que OpenRouter ofrece un ecosistema robusto y que no deja de crecer. Ahora que ya conoces el camino, es hora de que empieces a experimentar por ti mismo. Conecta, prueba y descubre el modelo que más te convenga para tu próximo proyecto.