Tässä viestissä kerromme, kuinka asennat LiteLLM:n ja yhdistät useita tekoälyrajapintoja yhdeksi. Tämä on erityisen hyödyllistä, jos työskentelet useiden kielimallien (LLM) kanssa ja tarvitset ottaa käyttöön keskitetymmän ja järjestelmällisemmän johtamisjärjestelmänLiteLLM on yksi parhaista vaihtoehdoista yhden OpenAI-yhteensopivan API:n käyttämiseen, joka tarjoaa pääsyn useille palveluntarjoajille.
Asenna LiteLLM: yksi API useiden tekoälypalveluntarjoajien käyttämiseen
Onko sinulla yksi projekti OpenAI:lla, toinen Clauden kanssa, yksi Geminin kanssa ja kolmas paikallisesti Ollaman kanssa? Tiedäthän kuinka vaikeaa se voi olla. hallita useita API-rajapintoja, eri SDK-paketteja ja eri yhteystiloja palveluntarjoajien välilläRatkaisu? LiteLLM:n asentaminen ja useiden tekoäly-APIen yhdistäminen yhdeksi voi lopettaa kaaoksen ja antaa sinulle takaisin hallinnan.
Kuten OpenRouter, myös LiteLLM pyrkii ratkaisemaan saman perustavanlaatuisen ongelman: tarjota yhden OpenAI-yhteensopivan API:n useiden tekoälymallien tarjoajien käyttämiseenMolemmat osoittavat päätepiste Yhteensopivina OpenAI:n kanssa ne tarjoavat pääsyn kymmeniin malleihin ja palveluntarjoajiin sekä helpottavat kulujen hallintaa muiden toimintojen ohella.
Ja miten ne eroavat toisistaan? Pääasiassa, käyttöönottomallissaVaikka OpenRouter on päätepiste Toisin kuin etäpalvelimelle, johon muodostat yhteyden suoraan, LiteLLM toimii omalla koneellasi tai palvelimellasi (Dockerin tai Pythonin kautta). Tämä tekee LiteLLM:stä ensisijaisen vaihtoehdon niille, joiden on täytettävä tiukat tietojen säilytys- tai yksityisyysvaatimukset.
Mielenkiintoinen asia on se Monet tiimit yhdistävät molemmat työkalutHe käyttävät LiteLLM:ää yhdyskäytävä sisäisesti ja määrittää OpenRouterin vain yhdeksi palveluntarjoajaksi taustalla. Tämä antaa heille täyden hallinnan omaan päätepiste hyödyntäen samalla OpenRouter-luetteloa taustajärjestelmä (Katso merkintä) OpenRouter-tilin luominen ja määrittäminenSanottuani tämän, puhutaanpa nyt LiteLLM:n asentamisesta ja useiden tekoäly-APIen yhdistämisestä yhdeksi.
Kuinka asentaa LiteLLM ja yhdistää useita tekoäly-API-rajapintoja yhdeksi
LiteLLM Se tarjoaa kaksi tapaa käyttää sitäVoit asentaa sen perus-Python SDK:na käyttämällä pip install litellmtai ota se käyttöön välityspalvelimena (tiimejä ja tuotantoa varten). Jos haluat asentaa LiteLLM:n ja yhdistää useita tekoäly-API-rajapintoja yhdeksi, tarvitset välityspalvelimen, koska se paljastaa päätepiste Keskitetty HTTP, jossa määrität kaikki mallisi. Keskitymme siis jälkimmäiseen.
La tehokkaampi tapa Jos haluat käyttää LiteLLM:ää välityspalvelimena, otat sen käyttöön Docker-kontissa. Tämä varmistaa, että se toimii itsenäisenä palveluna taustalla tietokoneellasi tai palvelimellasi. Lisäksi Dockerin avulla voit hallita monimutkaista reititystä, laitekohtaisia kulutusrajoituksia ja avainten kierrätystä yhdessä YAML-tiedostossa.
Ensimmäinen askel LiteLLM:n asentamiseen ja useiden tekoälyrajapintojen yhdistämiseen yhdeksi on luo projektin rakenneVoit tehdä tämän avaamalla päätelaitteen ja luomalla erillisen kansion välityspalvelimen määrityksille suorittamalla seuraavan komennon mkdir litellm-proxy && cd litellm-proxyKun tämä on tehty, voit siirtyä YAML-mallitiedoston määrittämiseen, joka on yhdistämisen keskeinen kohta.
Mallin YAML-tiedoston kokoonpano
Seuraavaksi meidän täytyy Määritä YAML-tiedosto määrittääksesi, mitkä kielimallit haluat paljastaa ja miten niihin muodostetaan yhteys.Luonnollisesti tarvitset API-avaimet jokaiselle: yhdistämme ne kaikki yhdeksi kokoonpanoksi. Tarvitset myös kunkin mallin tarkan nimen.
Mallien listaamisen lisäksi YAML-tiedoston tulisi myös määrittää, mitkä mallit toimivat varmuuskopioina, jos ensisijainen malli vikaantuu. Tutki huolellisesti seuraavaa rakennetta nähdäksesi nämä tiedot. Seuraavassa tiedostossa yhdistämme Kaupalliset tarjoajat (OpenAI, Anthropic, Gemini), palvelut kuten OpenRouter ja paikalliset mallit, jotka toimivat Ollamalla. YAML-tiedostorakenne näyttäisi tältä:
model_list: # Liiketoimintamalli 1: OpenAI - model_name: gpt-4o litellm_params: model: gpt-4o api_key: os.environ/OPENAI_API_KEY # Liiketoimintamalli 2: Anthropic Claude - model_name: claude-3-5-sonnet litellm_params: model: claude-3-5-sonnet-20240620 api_key: os.environ/ANTHROPIC_API_KEY # Ulkoinen aggregaattori: OpenRouter - model_name: openrouter-llama litellm_params: model: openrouter/meta-llama/llama-3.1-70b-instruct api_key: os.environ/OPENROUTER_API_KEY # Paikallinen malli: Ollama - model_name: llama3-local litellm_params: model: llama/llama3 api_base: http://host.docker.internal:11434 router_settings: num_retries: 3 timeout: 15 varajärjestelmät: - gpt-4o: ["claude-3-5-sonnet", "openrouter-llama"]
Määrittele ympäristömuuttujat ja ota LiteLLM-säilö käyttöön
Seuraavaksi sinun on luotava .env-tiedosto samaan hakemistoon tallentaaksesi yksityiset API-avaimesi paljastamatta niitä koodissa. Huomaat, että avaimia ei ole merkitty annotaatiolla edellisessä confi.yaml-tiedostossa niiden paljastamisen välttämiseksi. Siksi on tarpeen kerätä ne kaikki yhteen tiedostoon. .env-tiedosto kuten seuraavat:
OPENAI_API_KEY=sk-tai-avaimesi-tähän ANTHROPIC_API_KEY=sk-tai-avaimesi-tähän OPENROUTER_API_KEY=sk-tai-avaimesi-tähän LITELLM_MASTER_KEY=sk-oma-päävälityspalvelimen-avain
Ja siinä kaikki! Näin asennat LiteLLM:n ja yhdistät useita tekoäly-API-rajapintoja yhdeksi. Jäljellä on vielä tehtävä Käynnistä virallinen LiteLLM-kontti ja varmista, että linkität sen yllä oleviin määritys- ja ympäristömuuttujiin.Voit tehdä tämän suorittamalla seuraavan komennon:
docker run -d \ --name litellm-proxy \ -p 4000:4000 \ --env-file .env \ -v $(pwd)/config.yaml:/app/config.yaml \ ghcr.io/berriai/litellm:main-latest \ --config /app/config.yaml --port 4000
Tarkastaminen ja testaus yhdyskäytävä yhtenäinen
Lopuksi varmistamme, että LiteLLM:n asennus ja useiden tekoäly-APIen yhdistäminen yhdeksi onnistui. Jos kaikki meni hyvin ja säilö on jo käynnissä, LiteLLM kuuntelee http://localhost:4000Tästä eteenpäin kaikki OpenAI-rajapinnan kanssa yhteensopivat kaupalliset sovellukset tai skriptit voivat käyttää välityspalvelin LiteLLM:ltä.
Haluatko kokeilla? Lähetä viesti HTTP-pyyntö käyttämällä .env-tiedostossasi määritettyä pääavainta. Se näyttäisi suurin piirtein tältä:
curl --location 'http://localhost:4000/v1/chat/completions' \ --header 'Valtuutus: Haltija sk-my-master-key-proxy' \ --header 'Sisältötyyppi: application/json' \ --data '{ "model": "gpt-4o", "messages": [ {"role": "user", "content": "Luo luettelon kolmesta parhaasta käytännöstä mikropalveluille."} ] }'
LiteLLM: yksi API kaikkien hallintaan
Kuten näet, LiteLLM:n asentaminen ja useiden tekoälyrajapintojen yhdistäminen yhdeksi on yksinkertainen ja todella hyödyllinen prosessi. Dockerin avulla välityspalvelimena asennettuna LiteLLM tarjoaa sinulle yksi, käyttäjän hallitsema tukiasema kaikille tekoälyrajapinnoillesiToisin kuin OpenRouter (joka on hallinnoitu SaaS-palvelu), LiteLLM antaa sinulle täyden hallinnan tietoihisi ja kustannuksiisi. Vastineeksi sinun on kuitenkin ylläpidettävä omaa infrastruktuuriasi.
Dockerin käyttö on suositeltu tapa tiimeille. Voit saada keskitetyn yhdyskäytävän muutamassa minuutissa Kun OpenAI, Anthropic, Gemini, paikalliset mallit ja jopa OpenRouter yhdistyvät, kaikki yhden OpenAI-yhteensopivan päätepisteen alla. Kokeile: keskitä avaimesi ja mallisi LiteLLM:n avulla. Koodisi ja mielenterveytesi kiittävät sinua.
Nuoresta iästä lähtien olen ollut kiehtova kaikesta tieteeseen ja teknologiaan liittyvästä, erityisesti niistä edistysaskeleista, jotka tekevät elämästämme helpompaa ja nautinnollisempaa. Rakastan pysyä ajan tasalla uusimmista uutisista ja trendeistä sekä jakaa kokemuksiani, mielipiteitäni ja vinkkejäni käyttämistäni laitteista ja vempaimista. Tämä johti minut verkkokirjoittajaksi hieman yli viisi vuotta sitten, keskittyen pääasiassa Android-laitteisiin ja Windows-käyttöjärjestelmiin. Olen oppinut selittämään monimutkaisia käsitteitä yksinkertaisesti, jotta lukijani ymmärtävät ne helposti.