В тази публикация ще ви покажем как да инсталирате LiteLLM и да консолидирате няколко AI API в едно. Това е особено полезно, ако работите с множество езикови модели (LLM) и имате нужда внедряване на по-централизирана и организирана система за управлениеLiteLLM е една от най-добрите алтернативи за използване на един-единствен OpenAI-съвместим API, който осигурява достъп до множество доставчици.
Инсталирайте LiteLLM: един API за достъп до множество доставчици на AI
Имате ли един проект, използващ OpenAI, друг с Claude, още един с Gemini и още един, работещ локално с Ollama? Тогава знаете колко трудно може да бъде. управлявайте множество API, различни SDK и различни режими на свързване между доставчициРешението? Инсталирането на LiteLLM и комбинирането на няколко AI API в едно може да сложи край на хаоса и да ви върне контрола.
Подобно на OpenRouter, LiteLLM има за цел да реши същия фундаментален проблем: предлагат единен OpenAI-съвместим API за достъп до множество доставчици на AI моделиИ двете показват крайна точка Съвместими с OpenAI, те предоставят достъп до десетки модели и доставчици и улесняват контрола на разходите, наред с други функции.
И как се различават? Основно, в модела на внедряванеДокато OpenRouter е крайна точка За разлика от отдалечен сървър, към който се свързвате директно, LiteLLM работи на вашата собствена машина или сървър (чрез Docker или Python). Това прави LiteLLM предпочитаният избор за тези, които трябва да отговарят на строги изисквания за съхранение на данни или поверителност.
Интересното е, че това Много екипи комбинират и двата инструментаТе използват LiteLLM като портал вътрешно и конфигурират OpenRouter като просто още един доставчик във фонов режим. Това им дава пълен контрол над техните крайна точка като се възползвате от каталога на OpenRouter от бекенд (Вижте записа) Как да създадете и конфигурирате акаунт в OpenRouterВъпреки това, нека сега поговорим за това как да инсталираме LiteLLM и да обединим няколко AI API в едно.
Как да инсталирате LiteLLM и да комбинирате множество AI API в едно
LiteLLM Предлага два начина за използванеМожете да го инсталирате като основен Python SDK, използвайки pip install litellmили да го разположите като прокси сървър (за екипи и производство). Ако искате да инсталирате LiteLLM и да консолидирате няколко AI API в едно, ви е необходим прокси сървърът, тъй като той предоставя... крайна точка Централизиран HTTP, където конфигурирате всичките си модели. Така че ще се съсредоточим върху последното.
La по-ефективен начин За да стартирате LiteLLM като прокси сървър, го разгръщате в Docker контейнер. Това гарантира, че той работи като самостоятелна услуга във фонов режим на вашия компютър или сървър. Освен това, Docker ви позволява да организирате сложно маршрутизиране, ограничения за разходи на устройство и ротация на ключове в рамките на един YAML файл.
Първата стъпка към инсталирането на LiteLLM и комбинирането на няколко AI API в едно е създайте структурата на проектаЗа да направите това, отворете терминала си и създайте специална папка за конфигурация на прокси сървъра, като изпълните следната команда mkdir litellm-proxy && cd litellm-proxyСлед като това е направено, можете да преминете към конфигуриране на YAML моделния файл, който е централната точка за обединяване.
Конфигурация на YAML файла на модела
След това трябва да Конфигурирайте YAML файла, за да определите кои езикови модели искате да бъдат достъпни и как да се свържете с тях.Естествено, ще ви трябват API ключовете за всеки един: това, което ще направим, е да ги обединим всички в една конфигурация. Също така ще ви е необходимо точното име на всеки модел.
В допълнение към изброяването на моделите, YAML файлът трябва също да дефинира кои модели ще служат като резервни копия в случай на повреда на основния модел. Внимателно разгледайте следната структура, за да видите тези подробности. В следния файл ще обединим Търговски доставчици (OpenAI, Anthropic, Gemini), услуги като OpenRouter и локални модели, работещи на Ollama. Структурата на YAML файла би изглеждала така:
model_list: # Бизнес модел 1: OpenAI - model_name: gpt-4o litellm_params: model: gpt-4o api_key: os.environ/OPENAI_API_KEY # Бизнес модел 2: Anthropic Claude - model_name: claude-3-5-sonnet litellm_params: model: claude-3-5-sonnet-20240620 api_key: os.environ/ANTHROPIC_API_KEY # Външен агрегатор: OpenRouter - model_name: openrouter-llama litellm_params: model: openrouter/meta-llama/llama-3.1-70b-instruct api_key: os.environ/OPENROUTER_API_KEY # Локален модел: Ollama - model_name: llama3-local litellm_params: model: llama/llama3 api_base: http://host.docker.internal:11434 router_settings: num_retries: 3 timeout: 15 fallbacks: - gpt-4o: ["claude-3-5-sonnet", "openrouter-llama"]
Дефинирайте променливите на средата и разгръщайте контейнера LiteLLM
След това трябва да създадете .env файл в същата директория, за да съхранявате вашите частни API ключове, без да ги разкривате в кода. Ще забележите, че ключовете не са анотирани в предишния файл confi.yaml, за да се избегне разкриването им. Следователно е необходимо да ги съберете всички в един файл. .env файл като следното:
OPENAI_API_KEY=sk-proj-вашият-ключ-тук ANTHROPIC_API_KEY=sk-ant-вашият-ключ-тук OPENROUTER_API_KEY=sk-or-вашият-ключ-тук LITELLM_MASTER_KEY=sk-моят-главен-прокси-ключ
И това е всичко! Ето как инсталирате LiteLLM и комбинирате няколко AI API в едно. Това, което остава да се направи, е Стартирайте официалния LiteLLM контейнер, като се уверите, че сте го свързали с горните конфигурационни и environment променливи.Можете да направите това, като изпълните следната команда:
docker run -d \ --name litellm-proxy \ -p 4000:4000 \ --env-file .env \ -v $(pwd)/config.yaml:/app/config.yaml \ ghcr.io/berriai/litellm:main-latest \ --config /app/config.yaml --port 4000
Проверка и тестване на портал унифициран
Накрая ще проверим дали процесът на инсталиране на LiteLLM и обединяване на няколко AI API в едно е бил успешен. Ако всичко е минало добре и контейнерът вече работи, LiteLLM ще слуша http://localhost:4000От този момент нататък всяко търговско приложение или скрипт, съвместим с OpenAI API, ще може да използва вашия пълномощник от LiteLLM.
Искате ли да го опитате? Опитайте да изпратите HTTP заявка използвайки главния ключ, дефиниран във вашия .env файл. Това би изглеждало по следния начин:
curl --location 'http://localhost:4000/v1/chat/completions' \ --header 'Авторизация: Носител sk-my-master-key-proxy' \ --header 'Тип съдържание: application/json' \ --data '{ "model": "gpt-4o", "messages": [ {"role": "user", "content": "Генерира списък с 3 най-добри практики за микросървиси."} ] }'
LiteLLM: единен API за контрол на всички тях
Както виждате, инсталирането на LiteLLM и комбинирането на няколко AI API в едно е прост и наистина полезен процес. LiteLLM, инсталиран като прокси с Docker, ви предлага единна, контролирана от потребителя точка за достъп за всички ваши AI APIЗа разлика от OpenRouter (който е управлявана SaaS услуга), LiteLLM ви дава пълен контрол върху вашите данни и разходи. В замяна обаче трябва да поддържате собствена инфраструктура.
Инсталирането с Docker е препоръчителният път за екипи. Можете да имате централизиран шлюз за минути Където OpenAI, Anthropic, Gemini, локални модели и дори OpenRouter се събират, всички изложени под една OpenAI-съвместима крайна точка. Опитайте: централизирайте ключовете и моделите си с LiteLLM. Вашият код и вашият разум ще ви благодарят.
От малък съм очарован от всичко научно и технологично, особено от онези постижения, които правят живота ни по-лесен и по-приятен. Обичам да съм в крак с последните новини и тенденции и да споделям моя опит, мнения и съвети за устройствата и джаджите, които използвам. Това ме накара да стана уеб писател преди малко повече от пет години, фокусирайки се предимно върху устройства с Android и операционни системи Windows. Научих се да обяснявам сложни понятия с прости думи, така че моите читатели да могат лесно да ги разберат.