Kako izbrati določenega ponudnika znotraj OpenRouterja

OpenRouter se je uveljavil kot najpopolnejši prehod umetne inteligence na trgu. dostop do več kot 500 modelov, razdeljenih med več kot 70 dobaviteljevV zvezi s tem se ponavljajoče vprašanje: kako izbrati določenega ponudnika znotraj OpenRouterja? Poznavanje tega lahko vpliva na ceno in zmogljivost modelov, ki jih uporabljate.

Zakaj izbrati določenega ponudnika znotraj OpenRouterja?

OpenRouter je fantastičen. Deluje kot univerzalni agregator, ki centralizira na desetine modelov v enem samem, poenotenem API-ju. Ko povežete svoja lokalna orodja in storitve s platformo, dobite dostop do stotin jezikovnih modelov vseh vrst. Odvisno od tega, kaj želite početi, OpenRouter samodejno izbere model med razpoložljivimi ponudniki.

To pomeni, da lahko na primer uporabite model Claude 3.5 Sonnet različnih ponudnikov, kot so Anthropic, Together ali Fireworks. Vsak ponudnik ima svojo infrastrukturo, politike zasebnosti, cene, omejitve in notranje konfiguracije.OpenRouter neprekinjeno ocenjuje vsakega ponudnika vsakih 5 minut in samodejno zakasni slabo delujoče kanale.

Če torej pustite samodejno izbiro omogočeno, Morda boste uporabili isti model, vendar izkušnja morda ne bo enaka.In zato smo izbrali določenega ponudnika znotraj OpenRouterja. Vsi ponudniki umetne inteligence niso enaki, četudi ponujajo enak model. Razlike so v:

• Optimizacije sklepanjaVsak ponudnik uporablja drugačno strojno in programsko opremo.
• Kvantizacijske ravniNekateri ponujajo bolj stisnjene (in hitrejše, vendar manj natančne) različice modela.
• Infrastruktura: razlike v zakasnitvi in ​​prepustnosti glede na geografsko lokacijo.

Če torej morate uporabiti določenega ponudnika, ne glede na to, ali za optimizacijo stroškov, izboljšanje hitrosti ali zaradi zasebnostiNastavite ga lahko ročno. Izbira določenega ponudnika znotraj OpenRouterja je mogoča in to je odločitev, ki lahko neposredno vpliva na delovanje vaših jezikovno zasnovanih modelnih aplikacij.

Kako izbrati določenega ponudnika znotraj OpenRouterja

Poglejmo, kako izbrati določenega ponudnika znotraj OpenRouterja, oboje za lokalne aplikacije kot tudi za razvojna in avtomatizacijska okoljaV prvem primeru preprosto pojdite na spletno mesto OpenRouter, vnesite globalne nastavitve in nastavite določenega ponudnika.

Za drugo metodo morate iti v ukazno vrstico in nastavitev vključiti neposredno v besedilo ali kodo zahteve HTTP (z uporabo skriptov cURL, Python, Bash itd.) z uporabo objekta »provider«. Videli bomo tudi nekaj strategije usmerjanja za optimizacijo stroškov, hitrosti in zasebnosti.

Globalna konfiguracija znotraj openrouter.ai

Določenega ponudnika lahko v OpenRouterju izberete tako, da obiščete spletno mesto openrouter.ai in se prijavite s svojim računom. Ta možnost je najpreprostejša in najbolj praktična, če želite dodeliti določenega ponudnika za obravnavo vaših poizvedb. Ko ste na domači strani openrouter.ai, kliknite na razdelek Zasebnost iz menija na levi stranski vrstici.

Če se pomaknete navzdol do razdelka Ponudniki (Dobavitelji), videli boste, da lahko dodate enega ali več določenih dobaviteljev. Samo kliknite na Dodaj Odpre se plavajoči meni s seznamom dobaviteljev. Izberite jih toliko, kot želite (prikazali se bodo v razdelku Dovoljeni dobavitelji) in kliknite na Shrani spremembeČe želite določene ponudnike izključiti iz obravnave zahtev, jih dodajte v razdelek Prezreti ponudniki (Prezreti dobavitelji).

Izbira določenega ponudnika znotraj OpenRouterja z uporabo objekta "Ponudnik"

 

Za razvojna in avtomatizacijska okolja uporaba globalne nastavitve iz konfiguracije OpenRouterja morda ne bo zadostovala. V teh primerih izbira določenega ponudnika znotraj OpenRouterja vključuje uporabite ukazno vrsticoTo je potrebno, če uporabljate produkcijske aplikacije, kot so spletni strežniki, boti, Dockerjevi vsebniki ali orkestrirana orodja, kot sta Langflow ali AnythingLLM.

Ta metoda je bistvena tudi za Uporabite inteligentno ali dinamično usmerjanjeNa primer, morda želite, da poizvedbe z občutljivimi podatki gredo zasebnemu ponudniku, običajne poizvedbe pa cenejšemu. V ukazni vrstici lahko uporabite različne parametre za natančno nastavitev, kot so optimizacija stroškov, hitrosti ali natančnosti odgovorov.

Osnovno upravljanje s parametrom ponudnik

OpenRouter vam omogoča, da z uporabo objekta ali parametra določite, kako želite, da se vaša zahteva usmeri ponudnik v zahtevi. V konfiguraciji ponudnika lahko v katerem koli klicu ali skriptu HTTP združite naslednje ključe:

• naročilo: nastavite natančen vrstni red ponudnikov s prednostjo (primer: ["DeepInfra", "Together"].
• dovoli_nadzorne_uporabe: če je lažno, Zahteva ne bo uspešna, če na seznamu ni na voljo nobenega ponudnika. naročilo je na voljo.
• razvrsti: razvrstite po ceni, pretočnosti ali zakasnitvi.
• samo: vzpostavi beli seznam ekskluzivnih ponudnikov, ki jih je mogoče uporabljati.
• prezri: Vzpostavlja črni seznam dobaviteljev, ki jih je treba izključiti, morda zaradi slabe uspešnosti.
• najvišja_cena: določa zgornjo mejo cene na žeton.
• zbirka_podatki: Konfigurirajte omejitve zasebnosti. »deny« prepreči ponudnikom shranjevanje pozivov ali dnevnikov.
• kvantizacije: Omogoča filtriranje po stopnji natančnosti modela (primer ["fp8", "bf16"].

Nato si poglejmo nekaj preprostih primerov uporabe osnovni parametri izbrati določenega ponudnika znotraj OpenRouterja z natančnim nastavljanjem.

Optimizirajte glede na stroške z :floor in sort: "price"

La razlika v ceni za isti model med dobavitelji Lahko je zelo visoka. Če torej želite optimizirati stroške, lahko dodate objekt nadstropje do imena modela (meta-lama/lama-4-maverick:pod), tako da platforma samodejno izbere najcenejšega razpoložljivega ponudnika. In z uporabo ponudnik.sort: "cena" z particija: «brez» Iščete najcenejši model, ki ustreza vašim zahtevam. (Glej vnos) Kako izbrati najcenejši model na OpenRouterju).

Optimizirajte za hitrost z :nitro in sort: "prepustnost"

Če uporabljate OpenRouter z interaktivnimi aplikacijami, kjer je opazna zakasnitev, je to vredno razmisliti. optimizirajte izbiro dobavitelja glede na hitrostČe želite to narediti, lahko dodate bližnjico nitro do imena modela. In z ponudnik.sort: "prepustnost" Prednost dajete ponudnikom z najvišjim številom žetonov na sekundo.

Upoštevajte ničelno hrambo podatkov

To je pomembna podrobnost pri izbiri določenega ponudnika znotraj OpenRouterja, saj ima vsak ponudnik svojo politiko hrambe podatkov. Torej, Če vaš projekt zahteva strogo skladnost s predpisi in potrebujete ničelno hrambo podatkov (ZDR)Uporabite lahko naslednji parameter:

{ "ponudnik": { "zbirka_podatki": "zavrni", "zdr": res } }

S tem se usmerite le do dobavitelji, ki ne prijava niti ne uporabljajo vaših pozivov ali podatke za modele usposabljanja.

Blokirajte dobavitelje nizke kakovosti

Nekateri prodajalci ponujajo bolj kvantizirane različice, ki delujejo slabše od drugih. izključiti jih, Uporabite lahko ukaz:

{ "ponudnik": { "ignore": ["deepinfra", "skupaj"], "kvantizacije": ["fp8", "bf16"] } }

Skratka, izbira določenega ponudnika znotraj OpenRouterja ni tako preprosta kot izbira imena s seznama. Gre za odločitev, ki jo Vpliva na hitrost, stabilnost, zasebnost in stroške vaše aplikacije.Da bi to naredili pravilno, je ključno razumeti svoje dejanske potrebe, preizkusiti več ponudnikov in uporabiti prave ukaze za nadzor majhnih podrobnosti.