Cum se conectează LiteLLM cu OpenRouter

Conectarea LiteLLM cu OpenRouter este una dintre cele mai bune metode de a obține un proxy local sau în cloud extrem de flexibil. Această combinație vă permite să creați un strat de abstractizare unificatcapabil să direcționeze cereri către peste o sută de modele diferite. Și cel mai bine, totul este gestionat. dintr-o singură interfață compatibilă cu API-ul OpenAISă analizăm procesul pas cu pas pentru configurarea inițială și prima utilizare.

De ce să conectez LiteLLM cu OpenRouter?

Conectarea LiteLLM cu OpenRouter are avantaje clare. Evident, fiecare instrument oferă separat... O soluție completă care poate fi adaptată la diferite scenariis. Dacă vrei să aprofundezi puțin acest subiect, uită-te la subiect LiteLLM vs OpenRouter: Diferențe și când să le utilizați pe fiecare.

LiteLLM vă permite să utilizați aceeași interfață pentru a apela modele din OpenAI, Anthropic, Cohere, Hugging Face și multe altele. Cu acest instrument, schimbarea modelului Este la fel de simplu ca modificarea unui şir în codul dvs. De asemenea, oferă funcții avansate, cum ar fi gestionarea costurilor, înregistrare în jurnal, memorare în cache și echilibrarea încărcării (vezi intrarea Cum se instalează LiteLLM și se combină mai multe API-uri AI într-una singură).

OpenRouter, la rândul său, adaugă un nivel suplimentar de valoare: nu numai că unifică furnizorii, dar vă permite și să Oferă acces la modele care altfel ar fi dificil de obținut.De asemenea, vă permite să comparați modelele unul lângă altul și oferă opțiuni gratuite sau cu costuri foarte mici pentru experimentare.

Dar acum este momentul să vedem cum funcționează ambele instrumente împreună. Ce obțineți conectând LiteLLM cu OpenRouter? Pe de o parte, obțineți... punct unic de intrare cu sute de modele, cu posibilitatea de a comuta între ele fără a schimba logica afacerii. Pe de altă parte, puteți profita de flexibilitatea LiteLLM (timeout-uri, reîncercări, urmărirea costurilor) combinată cu catalogul OpenRouter.

Pasul 1: Creați cheia API în OpenRouter

Dacă aveți deja un cont OpenRouter și LiteLLM instalat pe mașină, treceți la pasul 3. Dacă nu, primul lucru de făcut pentru a conecta LiteLLM cu OpenRouter este Generați o cheie API în OpenRouterVeți avea nevoie de el pentru a stabili contactul și a autoriza LiteLLM să utilizeze furnizorii configurați.

Pentru început, creați un cont pe OpenRouter din openrouter.aiOdată ajuns înăuntru, accesați Setări – Chei API și generați o cheie nouă. Ca pas final, este recomandabil să salvați-l în fișierul de mediu .env (OPENROUTER_API_KEY=tu_clave_aquíVeți găsi un ghid mai detaliat în intrare Cum se creează și se configurează un cont OpenRouter.

Pasul 2: Instalați LiteLLM

Al doilea pas este și mai simplu. Instalarea LiteLLM este la fel de ușoară ca executarea următoarei comenzi în terminal. pip install litellmDacă plănuiești Folosește LiteLLM în modul server proxy (pasul 4), instalați dependențele suplimentare ale serverului cu comanda pip install 'litellm[proxy]'Aceasta este abordarea recomandată pentru integrarea aplicațiilor cu o interfață utilizator, cum ar fi AnythingLLM. Deschideți interfața web sau Dify.

Pasul 3: Conectați LiteLLM cu OpenRouter

În acest pas, vom conecta LiteLLM cu OpenRouter odată ce ambele instrumente sunt instalate și configurate. Practic, există două modalități principale de a le utiliza împreună: fie prin cod Python direct, fie printr-un server proxy configurat printr-un fișier config.yaml.

Să vedem cum se conectează LiteLLM cu OpenRouter folosind cod PythonÎntrucât LiteLLM este compatibil nativ cu OpenRouter, trebuie doar să definiți furnizorul și modelul. Un exemplu de bază în acest sens ar arăta astfel:

import litellm response = litellm.completion(model="openrouter/anthropic/claude-3.5-sonnet", api_key=os.getenv("OPENROUTER_API_KEY"), messages=[{"role": "utilizator", "content": "Bună, ce mai faci?"}]) print(response)

Astfel, LiteLLM Detectează automat că modelul aparține OpenRouter. și direcționează cererea. În acest mod simplu, accesați un model Anthropic prin OpenRouter folosind interfața unificată LiteLLM.

Pasul 4: Implementarea serverului proxy

LiteLLM poate fi conectat și la OpenRouter printr-un server proxy, ceea ce este foarte util pentru aplicațiile web, mobile sau backend care necesită stabilitate și monitorizare. Cea mai organizată modalitate de a face acest lucru este configurarea unui fișier YAML în directorul de lucru. Un exemplu al structurii sale ar fi următorul:

listă_model: - nume_model: openrouter-claude litellm_params: model: openrouter/anthropic/claude-3.5-sonnet cheie_api: os.environ/OPENROUTER_API_KEY - nume_model: openrouter-llama litellm_params: model: openrouter/meta-llama/llama-3.1-70b-instruct cheie_api: os.environ/OPENROUTER_API_KEY - nume_model: openrouter-gpt4o litellm_params: model: openrouter/openai/gpt-4o cheie_api: os.environ/OPENROUTER_API_KEY

Cu un fișier ca acesta, specificați modelele pe care doriți să le utilizați și îi spuneți lui LiteLLM să direcționeze cererile către infrastructura OpenRouter. Odată ce totul este configurat, trebuie doar să Porniți serverul proxy LiteLLM cu comanda litellm --config config.yamlÎn mod implicit, un server local accesibil la http://localhost:4000Serverul expune endpoint-uri standard compatibile cu OpenAI, cum ar fi /v1/chat/completions y /v1/models.

Pasul 5: Configurați modelele de rezervă

Nu putem vorbi despre conectarea LiteLLM cu OpenRouter fără a evidenția cum se configurează un model de backup. Unul dintre cele mai mari avantaje ale integrării ambelor instrumente este că puteți implementa strategii de toleranță la erori. Așadar, dacă un anumit furnizor se defectează sau devine supraîncărcat, LiteLLM poate... redirecționează automat cererea către un model secundar predefinitUn exemplu despre cum ar arăta fișierul YAML de rezervă este:

model_list: - model_name: modelul-meu-principal litellm_params: model: openrouter/anthropic/claude-3.5-sonnet api_key: os.environ/OPENROUTER_API_KEY - model_name: modelul-meu-de-rezervă litellm_params: model: openrouter/openai/gpt-4o-mini api_key: os.environ/OPENROUTER_API_KEY router_settings: fallbacks: [{"my-main-model": ["my-backup-model"]}]

Cu o regulă de genul acesta, dacă apelul către Claude 3.5 Sonnet prin OpenRouter eșuează din cauza unei expirări sau a unei erori de server, proxy-ul va reîncerca solicitarea folosind GPT-4o Mini. A face acest lucru este deosebit de util dacă folosești aplicații critice, roboți de servicii pentru clienți sau platforme de analiză.

Conectarea LiteLLM cu OpenRouter: un lucru sigur

Este un fapt că conectarea LiteLLM cu OpenRouter este una dintre modalitățile mai eficient și mai flexibil de lucru cu modele lingvistice astăzi. Este recomandabil să le combinați în aproape orice scenariu, indiferent dacă dezvoltați o aplicație individuală sau gestionați infrastructura de inteligență artificială a unei întregi companii.

Cu această combinație obțineți o interfață unică pentru sute de modele și posibilitatea de a comuta între ele fără a rescrie codul. De asemenea, vă oferă un control mai marefacilitarea gestionării cheilor, costurilor și jurnalelor.

LiteLLM simplifică integrarea, în timp ce OpenRouter oferă un ecosistem robust și în continuă creștere. Acum că știi cum să procedezi, e timpul să începi să experimentezi singur. Conectează-te, încearcă și descoperă modelul care se potrivește cel mai bine următorului tău proiect.