Comment connecter LiteLLM à OpenRouter

Connecter LiteLLM à OpenRouter est l'une des meilleures façons d'obtenir un proxy local ou cloud hautement flexible. Cette combinaison vous permet de créer un couche d'abstraction unifiéeCapable d'acheminer les requêtes vers plus d'une centaine de modèles différents. Et surtout, tout est géré. à partir d'une interface unique compatible avec l'API OpenAIExaminons étape par étape le processus de configuration initiale et de première utilisation.

Pourquoi connecter LiteLLM à OpenRouter ?

L'association de LiteLLM à OpenRouter présente des avantages indéniables. Bien entendu, chaque outil offre, pris individuellement, des atouts différents. Une solution complète qui peut être adaptée à différents scénariosSi vous souhaitez approfondir ce sujet, consultez la rubrique correspondante. LiteLLM vs OpenRouter : Différences et cas d’utilisation de l’un ou de l’autre.

LiteLLM vous permet d'utiliser la même interface pour appeler des modèles d'OpenAI, d'Anthropic, de Cohere, de Hugging Face et de bien d'autres. Grâce à cet outil, modèle de changement C'est aussi simple que de modifier un chaîne dans votre code. Il offre également des fonctionnalités avancées telles que la gestion des coûts, journalisation, mise en cache et l'équilibrage de charge (voir l'entrée) Comment installer LiteLLM et combiner plusieurs API d'IA en une seule).

OpenRouter, pour sa part, apporte une valeur ajoutée supplémentaire : il unifie non seulement les fournisseurs, mais vous permet également de… Elle permet d'accéder à des modèles qui seraient autrement difficiles à obtenir.Il permet également de comparer les modèles côte à côte et propose des options gratuites ou très peu coûteuses pour expérimenter.

Mais il est temps maintenant de voir ces deux outils fonctionner ensemble. Qu'obtenez-vous en connectant LiteLLM à OpenRouter ? D'une part, vous obtenez… point d'entrée unique avec des centaines de modèles, et la possibilité de passer de l'un à l'autre sans modifier votre logique métier. Par ailleurs, vous pouvez tirer parti de la flexibilité de LiteLLM. (délai d'attente, nouvelles tentatives, suivi des coûts) combiné avec le catalogue OpenRouter.

Étape 1 : Créez votre clé API dans OpenRouter

Si vous possédez déjà un compte OpenRouter et que LiteLLM est installé sur votre machine, passez à l'étape 3. Sinon, la première chose à faire pour connecter LiteLLM à OpenRouter est : Générer une clé API dans OpenRouterVous en aurez besoin pour établir le contact et autoriser LiteLLM à utiliser les fournisseurs configurés.

Pour commencer, créez un compte sur OpenRouter à partir de openrouter.aiUne fois connecté, accédez à Paramètres – Clés API et générez une nouvelle clé. Enfin, il est conseillé de Enregistrez-le dans votre fichier d'environnement .env (OPENROUTER_API_KEY=tu_clave_aquíVous trouverez un guide plus détaillé dans l'entrée Comment créer et configurer un compte OpenRouter.

Étape 2 : Installer LiteLLM

La deuxième étape est encore plus simple. Installer LiteLLM est aussi simple que d'exécuter la commande suivante dans votre terminal. pip install litellmSi vous prévoyez Utilisez LiteLLM en mode serveur proxy (étape 4), installez les dépendances serveur supplémentaires avec la commande pip install 'litellm[proxy]'Il s'agit de l'approche recommandée pour intégrer des applications dotées d'une interface utilisateur, telle que AnythingLLM. Ouvrir l'interface Web ou Dify.

Étape 3 : Connecter LiteLLM à OpenRouter

Dans cette étape, nous connecterons LiteLLM à OpenRouter une fois les deux outils installés et configurés. Il existe deux principales façons de les utiliser ensemble : soit directement via du code Python, soit via un serveur proxy configuré dans un fichier config.yaml.

Voyons comment connecter LiteLLM à OpenRouter. en utilisant du code PythonComme LiteLLM prend en charge nativement OpenRouter, il vous suffit de définir le fournisseur et le modèle. Voici un exemple simple :

import litellm response = litellm.completion( model="openrouter/anthropic/claude-3.5-sonnet", api_key=os.getenv("OPENROUTER_API_KEY"), messages=[{"role": "user", "content": "Bonjour, comment allez-vous ?"}] ) print(response)

Ainsi, LiteLLM Il détecte automatiquement que le modèle appartient à OpenRouter. et achemine la requête. De cette manière simple, vous accédez à un modèle Anthropic via OpenRouter en utilisant l'interface unifiée LiteLLM.

Étape 4 : Déploiement du serveur proxy

LiteLLM peut également être connecté à OpenRouter via un serveur proxy, ce qui est très utile pour les applications web, mobiles ou backend nécessitant stabilité et surveillance. La méthode la plus structurée pour ce faire est la suivante : configuration d'un fichier YAML dans votre répertoire de travail. Voici un exemple de sa structure :

liste_models : - nom_model : openrouter-claude litellm_params : modèle : openrouter/anthropic/claude-3.5-sonnet clé_API : os.environ/OPENROUTER_API_KEY - nom_model : openrouter-llama litellm_params : modèle : openrouter/meta-llama/llama-3.1-70b-instruct clé_API : os.environ/OPENROUTER_API_KEY - nom_model : openrouter-gpt4o litellm_params : modèle : openrouter/openai/gpt-4o clé_API : os.environ/OPENROUTER_API_KEY

Avec un fichier comme celui-ci, vous spécifiez les modèles que vous souhaitez utiliser et indiquez à LiteLLM d'acheminer les requêtes vers l'infrastructure OpenRouter. Une fois la configuration terminée, il vous suffit de Démarrer le serveur proxy LiteLLM avec la commande litellm --config config.yamlPar défaut, un serveur local accessible à l'adresse http://localhost:4000Le serveur expose des points de terminaison standard compatibles avec OpenAI, tels que : /v1/chat/completions y /v1/models.

Étape 5 : Configurer les modèles de sauvegarde

Il est impossible d'aborder la connexion de LiteLLM à OpenRouter sans évoquer la configuration d'un modèle de secours. L'un des principaux avantages de l'intégration de ces deux outils réside dans la possibilité de mettre en œuvre des stratégies de tolérance aux pannes. Ainsi, si un fournisseur spécifique tombe en panne ou est surchargé, LiteLLM peut prendre le relais. rediriger automatiquement la requête vers un modèle secondaire prédéfiniVoici un exemple de ce à quoi ressemblerait le fichier YAML de sauvegarde :

liste_modèles : - nom_modèle : mon-modèle-principal paramètres_litellm : modèle : openrouter/anthropic/claude-3.5-sonnet clé_API : os.environ/OPENROUTER_API_KEY - nom_modèle : mon-modèle-de-sauvegarde paramètres_litellm : modèle : openrouter/openai/gpt-4o-mini clé_API : os.environ/OPENROUTER_API_KEY paramètres_routeur : replis : [{"mon-modèle-principal": ["mon-modèle-de-sauvegarde"]}]

Avec une règle comme celle-ci, si l'appel à Claude 3.5 Sonnet via OpenRouter échoue en raison d'un délai d'attente ou d'une erreur serveur, le proxy tentera de relancer la requête en utilisant GPT-4o Mini. Faire cela est particulièrement utile si vous gérez des applications critiques, des chatbots de service client ou des plateformes d'analyse.

Connecter LiteLLM à OpenRouter : une évidence

Il est avéré que connecter LiteLLM à OpenRouter est l'une des solutions possibles. plus efficace et plus flexible Il est aujourd'hui courant de travailler avec des modèles de langage. Il est conseillé de les combiner dans presque tous les cas de figure, que ce soit pour le développement d'une application individuelle ou la gestion de l'infrastructure d'IA d'une entreprise entière.

Avec cette combinaison, vous obtenez un interface unique pour des centaines de modèles et la possibilité de passer de l'un à l'autre sans réécrire de code. Il vous offre également un un contrôle accrufaciliter la gestion des clés, des coûts et des journaux.

LiteLLM simplifie l'intégration, tandis qu'OpenRouter offre un écosystème robuste et en constante expansion. Maintenant que vous savez comment faire, il est temps de commencer à expérimenter par vous-même. Connectez-vous, essayez et découvrez le modèle qui convient le mieux à votre prochain projet.