Как подключить LiteLLM к OpenRouter

Подключение LiteLLM к OpenRouter — один из лучших способов получить высокогибкий локальный или облачный прокси-сервер. Эта комбинация позволяет создать единый уровень абстракцииСпособна направлять запросы более чем к сотне различных моделей. И самое главное, всё это управляется. через единый интерфейс, совместимый с API OpenAI.Рассмотрим пошаговый процесс первоначальной настройки и первого использования.

Почему стоит интегрировать LiteLLM с OpenRouter?

Подключение LiteLLM к OpenRouter имеет очевидные преимущества. Разумеется, каждый инструмент по отдельности предлагает свои возможности. Комплексное решение, которое можно адаптировать к различным сценариям.Если вы хотите углубиться в эту тему, ознакомьтесь с соответствующим разделом. LiteLLM против OpenRouter: различия и когда использовать каждый из них..

LiteLLM позволяет использовать один и тот же интерфейс для вызова моделей из OpenAI, Anthropic, Cohere, Hugging Face и многих других. С помощью этого инструмента вы сможете: изменить модель Всё очень просто: достаточно внести изменения. нить в вашем коде. Он также предлагает расширенные функции, такие как управление затратами. ведение журналов, кэширование и балансировка нагрузки (см. запись) Как установить LiteLLM и объединить несколько API для искусственного интеллекта в один.).

OpenRouter, в свою очередь, добавляет дополнительный уровень ценности: он не только объединяет провайдеров, но и позволяет вам Это обеспечивает доступ к моделям, которые в противном случае было бы сложно достать.Это также позволяет сравнивать модели бок о бок и предлагает бесплатные или очень недорогие варианты для экспериментов.

Но теперь пришло время посмотреть, как оба инструмента работают вместе. Что вы получаете, подключив LiteLLM к OpenRouter? С одной стороны, вы получаете единая точка входа LiteLLM предлагает сотни моделей и возможность переключения между ними без изменения бизнес-логики. С другой стороны, вы можете воспользоваться преимуществами гибкости LiteLLM. (тайм-ауты, повторные попытки, отслеживание затрат) в сочетании с каталогом OpenRouter.

Шаг 1: Создайте свой API-ключ в OpenRouter.

Если у вас уже есть учетная запись OpenRouter и установлен LiteLLM на вашем компьютере, перейдите к шагу 3. В противном случае, первое, что нужно сделать для подключения LiteLLM к OpenRouter, это... Сгенерируйте ключ API в OpenRouterЭто потребуется для установления контакта и авторизации LiteLLM на использование настроенных поставщиков.

Для начала создайте учетную запись в OpenRouter. openrouter.aiПосле входа в систему перейдите в «Настройки» — «Ключи API» и сгенерируйте новый ключ. В качестве заключительного шага рекомендуется выполнить следующие действия: Сохраните это в файле среды .env. (OPENROUTER_API_KEY=tu_clave_aquíБолее подробное руководство вы найдете в соответствующей записи. Как создать и настроить учетную запись OpenRouter.

Шаг 2: Установите LiteLLM

Второй шаг ещё проще. Установка LiteLLM так же проста, как выполнение следующей команды в терминале. pip install litellmЕсли вы планируете Используйте LiteLLM в режиме прокси-сервера. (Шаг 4), установите дополнительные зависимости сервера с помощью команды pip install 'litellm[proxy]'Это рекомендуемый подход для интеграции приложений с пользовательским интерфейсом, например, AnythingLLM. Открыть веб-интерфейс или обожествить.

Шаг 3: Подключите LiteLLM к OpenRouter

На этом этапе мы подключим LiteLLM к OpenRouter после установки и настройки обоих инструментов. В основном, существует два основных способа их совместного использования: либо непосредственно с помощью кода Python, либо через прокси-сервер, настроенный с помощью файла config.yaml..

Давайте посмотрим, как подключить LiteLLM к OpenRouter. используя код на PythonПоскольку LiteLLM изначально поддерживает OpenRouter, вам нужно определить только провайдер и модель. Простой пример будет выглядеть так:

import litellm response = litellm.completion( model="openrouter/anthropic/claude-3.5-sonnet", api_key=os.getenv("OPENROUTER_API_KEY"), messages=[{"role": "user", "content": "Здравствуйте, как дела?"}] ) print(response)

Таким образом, LiteLLM Программа автоматически определяет, что модель принадлежит OpenRouter. и направляет запрос. Таким простым способом вы получаете доступ к антропной модели через OpenRouter, используя унифицированный интерфейс LiteLLM.

Шаг 4: Развертывание прокси-сервера

LiteLLM также может подключаться к OpenRouter через прокси-сервер, что очень полезно для веб-, мобильных или бэкэнд-приложений, требующих стабильности и мониторинга. Наиболее организованный способ сделать это — настройка YAML-файла в вашей рабочей директории. Пример её структуры может выглядеть следующим образом:

model_list: - model_name: openrouter-claude litellm_params: model: openrouter/anthropic/claude-3.5-sonnet api_key: os.environ/OPENROUTER_API_KEY - model_name: openrouter-llama litellm_params: model: openrouter/meta-llama/llama-3.1-70b-instruct api_key: os.environ/OPENROUTER_API_KEY - model_name: openrouter-gpt4o litellm_params: model: openrouter/openai/gpt-4o api_key: os.environ/OPENROUTER_API_KEY

С помощью такого файла вы указываете модели, которые хотите использовать, и даете команду LiteLLM направлять запросы в инфраструктуру OpenRouter. После того, как все настроено, вам остается только... Запустите прокси-сервер LiteLLM. с командой litellm --config config.yamlПо умолчанию используется локальный сервер, доступный по адресу: http://localhost:4000Сервер предоставляет стандартные конечные точки, совместимые с OpenAI, такие как: /v1/chat/completions y /v1/models.

Шаг 5: Настройка моделей резервного копирования

Невозможно говорить о подключении LiteLLM к OpenRouter, не упомянув настройку резервной модели. Одно из главных преимуществ интеграции этих двух инструментов — возможность реализации стратегий отказоустойчивости. Таким образом, если конкретный провайдер выйдет из строя или окажется перегружен, LiteLLM сможет... автоматически перенаправить запрос на предопределенную вторичную модельПримером того, как будет выглядеть резервный YAML-файл, может служить следующий документ:

model_list: - model_name: my main-model litellm_params: model: openrouter/anthropic/claude-3.5-sonnet api_key: os.environ/OPENROUTER_API_KEY - model_name: my-backup-model litellm_params: model: openrouter/openai/gpt-4o-mini api_key: os.environ/OPENROUTER_API_KEY router_settings: fallbacks: [{"my-main-model": ["my-backup-model"]}]

При наличии подобного правила, если вызов Claude 3.5 Sonnet через OpenRouter завершится неудачей из-за тайм-аута или ошибки сервера, прокси-сервер повторит запрос, используя GPT-4o Mini. Это особенно полезно. если вы обеспечиваете работу критически важных приложений, ботов для обслуживания клиентов или аналитических платформ.

Подключение LiteLLM к OpenRouter: гарантированный результат.

Известно, что подключение LiteLLM к OpenRouter — один из способов это сделать. более эффективный и гибкий Сегодня работа с языковыми моделями требует особого подхода. Их целесообразно комбинировать практически в любом сценарии, будь то разработка отдельного приложения или управление инфраструктурой искусственного интеллекта целой компании.

При таком сочетании вы получаете единый интерфейс для сотен моделей и возможности переключаться между ними без переписывания кода. Это также дает вам возможность больший контрольОблегчение управления ключами, затратами и журналами.

LiteLLM упрощает интеграцию, а OpenRouter предлагает надежную и постоянно расширяющуюся экосистему. Теперь, когда вы знаете, как это работает, пора начать экспериментировать самостоятельно. Подключайтесь, пробуйте и открывайте новое. модель, которая лучше всего подходит для вашего следующего проекта.