LiteLLMのインストール方法と複数のAI APIを1つに統合する方法

この記事では、LiteLLM をインストールして、複数の AI API を 1 つに統合する方法を説明します。これは、複数の言語モデル (LLM) を扱っていて、 より中央集権的で組織的な管理システムを導入するLiteLLMは、複数のプロバイダーへのアクセスを提供する単一のOpenAI互換APIを使用するための最良の代替手段の1つです。

LiteLLMをインストールしてください：複数のAIプロバイダーにアクセスするための単一のAPI

OpenAIを使ったプロジェクトが1つ、Claudeを使ったプロジェクトが1つ、Geminiを使ったプロジェクトが1つ、そしてOllamaを使ってローカルで実行しているプロジェクトが1つあるとしたら、それがどれほど大変なことかお分かりでしょう。 複数のAPI、異なるSDK、およびプロバイダー間の異なる接続モードを管理する解決策は？LiteLLMをインストールし、複数のAI APIを1つに統合することで、混乱を解消し、コントロールを取り戻すことができます。

OpenRouterと同様に、LiteLLMも同じ根本的な問題を解決することを目指しています。 複数のAIモデルプロバイダーにアクセスするための、OpenAI互換の単一APIを提供する。両方とも 終点 OpenAIと互換性があり、数十種類のモデルやプロバイダーへのアクセスを提供し、経費管理を容易にするなど、さまざまな機能を提供します。

では、それらはどのように異なるのでしょうか？ 主に、 展開モデルにおいてOpenRouterは 終点 直接接続するリモートサーバーとは異なり、LiteLLMは（DockerまたはPythonを介して）ユーザー自身のマシンまたはサーバー上で動作します。そのため、LiteLLMは、厳格なデータ所在地の要件やプライバシー要件を満たす必要があるユーザーにとって最適な選択肢となります。

面白いのは 多くのチームが両方のツールを組み合わせて使用​​している彼らはLit​​eLLMを ゲートウェイ 内部的にOpenRouterをバックグラウンドで別のプロバイダとして構成します。これにより、完全な制御が可能になります。 終点 OpenRouterカタログを活用しながら、 バックエンド （該当項目を参照） OpenRouterアカウントの作成と設定方法それでは、LiteLLMのインストール方法と、複数のAI APIを1つに統合する方法について説明しましょう。

LiteLLMのインストール方法と複数のAI APIを1つに統合する方法

ライトLLM 2つの使用方法があります基本的なPython SDKとしてインストールするには、 pip install litellmまたはプロキシ サーバーとしてデプロイします (チームおよび本番環境向け)。LiteLLM をインストールして複数の AI API を 1 つに統合する場合は、プロキシが必要です。 終点 すべてのモデルを設定する集中型HTTP。そこで、今回は後者に焦点を当てます。

La より効率的な方法 LiteLLMをプロキシサーバーとして実行するには、Dockerコンテナにデプロイします。これにより、LiteLLMはコンピュータまたはサーバー上でスタンドアロンサービスとしてバックグラウンドで実行されます。さらに、Dockerを使用すると、複雑なルーティング、デバイスごとの利用制限、キーローテーションなどを単一のYAMLファイル内で管理できます。

LiteLLMをインストールして複数のAI APIを1つにまとめるための最初のステップは プロジェクト構造を作成するこれを行うには、ターミナルを開き、次のコマンドを実行してプロキシ設定専用のフォルダを作成します。 mkdir litellm-proxy && cd litellm-proxyこれが完了したら、統合の中心となるYAMLモデルファイルの設定に進むことができます。

モデルYAMLファイル設定

次に、 YAMLファイルを設定して、公開する言語モデルと、それらに接続する方法を定義します。当然、それぞれのAPIキーが必要になります。そこで今回は、それらをすべて1つの設定に統合します。また、各モデルの正確な名前も必要です。

YAMLファイルには、モデルの一覧に加えて、プライマリモデルが故障した場合のバックアップとして機能するモデルも定義する必要があります。これらの詳細については、以下の構造をよく確認してください。 次のファイルでは、 商用プロバイダー（OpenAI、Anthropic、Gemini）、OpenRouterなどのサービス、およびOllama上で動作するローカルモデル。YAMLファイルの構造は次のようになります。

model_list: # ビジネスモデル 1: OpenAI - model_name: gpt-4o litellm_params: model: gpt-4o api_key: os.environ/OPENAI_API_KEY # ビジネスモデル 2: Anthropic Claude - model_name: claude-3-5-sonnet litellm_params: model: claude-3-5-sonnet-20240620 api_key: os.environ/ANTHROPIC_API_KEY # 外部アグリゲーター: OpenRouter - model_name: openrouter-llama litellm_params: model: openrouter/meta-llama/llama-3.1-70b-instruct api_key: os.environ/OPENROUTER_API_KEY # ローカルモデル: Ollama - model_name: llama3-local litellm_params: model: llama/llama3 api_base: http://host.docker.internal:11434 router_settings: num_retries: 3 timeout: 15 fallbacks: - gpt-4o: ["claude-3-5-sonnet", "openrouter-llama"]

環境変数を定義し、LiteLLMコンテナをデプロイする

次に、同じディレクトリに.envファイルを作成し、コード内で公開せずにプライベートAPIキーを保存する必要があります。キーが公開されないようにするため、前のconfi.yamlファイルではキーに注釈が付けられていないことに気づくでしょう。そのため、すべてのキーを1つのファイルにまとめる必要があります。 .envファイル 例えば以下のようなものです。

OPENAI_API_KEY=sk-proj-your-key-here ANTHROPIC_API_KEY=sk-ant-your-key-here OPENROUTER_API_KEY=sk-or-your-key-here LITELLM_MASTER_KEY=sk-my-master-proxy-key

これで完了です！これがLiteLLMをインストールし、複数のAI APIを1つにまとめる方法です。残りの作業は 公式のLiteLLMコンテナを起動し、上記の構成と環境変数にリンクされていることを確認してください。以下のコマンドを実行することで、これを行うことができます。

docker run -d \ --name litellm-proxy \ -p 4000:4000 \ --env-file .env \ -v $(pwd)/config.yaml:/app/config.yaml \ ghcr.io/berriai/litellm:main-latest \ --config /app/config.yaml --port 4000

検証とテスト ゲートウェイ 統一

最後に、LiteLLM のインストールと複数の AI API を 1 つに統合するプロセスが成功したことを確認します。すべてがうまくいき、コンテナが既に実行されている場合は、 LiteLLMは聞き取ります http://localhost:4000この時点から、OpenAI APIと互換性のある商用アプリケーションまたはスクリプトはすべて、あなたの プロキシ LiteLLMより。

試してみませんか？ HTTPリクエスト .env ファイルで定義されているマスターキーを使用します。以下のような形式になります。

curl --location 'http://localhost:4000/v1/chat/completions' \ --header 'Authorization: Bearer sk-my-master-key-proxy' \ --header 'Content-Type: application/json' \ --data '{ "model": "gpt-4o", "messages": [ {"role": "user", "content": "マイクロサービスのベストプラクティス3つのリストを生成します。"} ] }'

LiteLLM：それらすべてを制御するための単一のAPI

ご覧のとおり、LiteLLMをインストールして複数のAI APIを1つにまとめるのは、シンプルで非常に便利なプロセスです。DockerでプロキシとしてインストールされたLiteLLMは、 すべてのAI APIへの、ユーザーが制御できる単一のアクセスポイントOpenRouter（マネージドSaaSサービス）とは異なり、LiteLLMではデータとコストを完全に制御できます。ただし、その代わりに、独自のインフラストラクチャを維持管理する必要があります。

チームでのインストールには、Dockerを使用したインストール方法が推奨されます。 数分で集中型ゲートウェイを構築できます OpenAI、Anthropic、Gemini、ローカルモデル、そしてOpenRouterまで、すべてが単一のOpenAI互換エンドポイントで統合されます。ぜひお試しください。LiteLLMでキーとモデルを一元管理すれば、コードも作業効率も向上します。