LocalAIとAnythingLLMを連携させることは、ローカルAIの可能性を最大限に引き出すための最良の組み合わせの一つです。LocalAIは推論エンジンとして機能し、AnythingLLMは知識管理のための直感的なインターフェースを提供します。このガイドでは、その方法を解説します。 これら2つのツールを接続してパーソナルアシスタントを作成する方法.
LocalAIとAnythingLLMとは何ですか?

LocalAIとAnythingLLMを連携させる前に、それぞれの機能と、それらを組み合わせるメリットを理解しておくと役立ちます。まずLocalAIについてですが、 LocalAI これは、OpenAI API の直接的な代替として、また互換性を持って作成されました。 ローカルでのダウンロードと実行を可能にする推論サーバー 言語モデル(LLM)だけでなく、音声認識や画像生成器も含まれます。
LocalAIの最大の利点は、 OpenAIとの連携を目的としたあらゆるアプリと互換性があります。必要なのは、ベースURL(http://localhost:8080/v1)を変更し、ダミーのAPIキーを使用することだけです。モデルはローカルで実行されるため、トークンやサブスクリプション料金は発生せず、サーバー経由で異なるコンピューター上のあらゆるAIクライアントから利用可能です。
一方、AIクライアントもあります。 AnythingLLM、 チャット、埋め込み、RAG、エージェント、生産性ツールを組み合わせた作業環境。その最も優れた機能の1つは ローカル文書を、AIが参照して回答を生成できる情報源に変換するAnythingLLMを使えば、言語モデルをダウンロードしてローカルで実行することもできます。
LocalAIとAnythingLLMを連携させる理由とは?
確かに、AnythingLLMの最新バージョンでは、言語モデルをインターフェース内で直接ダウンロードして実行できます。しかし、すでにLocalAIを使用して言語モデルを管理している場合は、AnythingLLMから追加のモデルをダウンロードする必要はありません。 両方のツールを接続できます最初のものを推論エンジンとして使用する バックエンド、 そして2番目は フロントエンド またはユーザーインターフェース。
LocalAIを中央サーバーとして使用する これにより、さまざまなアプリケーションやデバイスからの多様なリクエストを処理できます。例えば、ドキュメントにはAnythingLLM、エディタにはコード補完プラグイン、自動化ボット、Pythonスクリプトなどを使用できます。これらのツールはすべて同じローカルAIサーバーを利用して、異なるタスクを同時に実行します。
さらに、LocalAIとAnythingLLMを接続すると、 ローカル文書管理のための強力なRAGエンジンAnythingLLM を使用すると、 自分のドキュメントやファイルを使って応答するプライベートGPTチャットこれら2つのツールを連携させることで、クラウドに依存することなく、商用ソリューションに匹敵する環境を構築できます。
LocalAIとAnythingLLMを接続する手順(ステップバイステップ)

それでは、LocalAI を AnythingLLM に接続する手順を順を追って見ていきましょう。ローカル処理中にスムーズなエクスペリエンスを確保するには、 推奨ハードウェア最低限必要なのは、16GBのRAM(7Bモデル以上では32GB)と、30GB以上のSSD空き容量です。応答速度を向上させるため、CUDA対応のグラフィックカードを搭載している方がはるかに快適です。
ステップ1:Docker Composeを使用してLocalAIをデプロイする
当然ながら、LocalAIとAnythingLLMを接続するには、両方のツールが動作している必要があります。既にインストールされている場合は、手順3に進んでください。そうでない場合は、まず最初に… LocalAIをデプロイするそして、それを実現する最良の方法はDocker Composeを使うことです。詳しい手順については、次の記事をご覧ください。 Dockerを使用してLocalAIをインストールする手順(ステップバイステップ).
コンテナがアクティブになったら、アクセス http://localhost:8080 モデルギャラリーを管理するには、そこから チャットテンプレートをダウンロードする GGUF形式(例:Llama 3またはMistral 7Bのバリアント) そしてモデル 埋め込み (例:bge-small、text-embedding-ada-002)。重要:各モデルに割り当てられた正確な名前を保持してください。
ステップ2:AnythingLLMをインストールする

2番目の手順は、まだインストールしていない場合はAnythingLLMアプリケーションをインストールすることです。このクライアントはインストールできます。 デスクトップアプリケーションとして、またはサーバーコンテナとして個人作業環境においては、デスクトップ版が最適な統合性を提供します。各種プラットフォーム向けのダウンロードは、[リンク/ウェブサイトなど]から簡単に行えます。 AnythingLLMの公式サイトさらに詳しい情報が必要な場合は、以下の項目を参照してください。 WindowsにAnythingLLMをインストールする手順(ステップバイステップ).
また、 AnythingLLMをDockerでインストールするアプリケーションがアクティブになったら、 初めて設定するこれには権限の有効化とテンプレートのダウンロードが含まれます。ただし、後者は不要です。 LocalAIに接続して、そこにダウンロードしたモデルを使用します。アプリケーションを開くと、アシスタントがLLMプロバイダーを選択するように求めますが、この部分はスキップしてメインパネルに進んでください。
ステップ3:APIを介してLocalAIとAnythingLLMを接続する

両方のツールがインストールされ準備が整ったので、LocalAIとAnythingLLMを接続します。API経由で接続するので、AnythingLLMに移動して言語モデルを設定する必要があります。AnythingLLMに、 ダウンロードされた言語モデル LocalAIで以下の手順に従ってください。
- AnythingLLMで、アイコンをクリックします。 設定 左側のパネルの下にあるものです。
- タブを展開してください AIプロバイダー クリックして 法学修士(LLM)
- LLMプロバイダーのドロップダウンメニューで、 ローカルAI。
- 接続パラメータを入力してください。
- LocalAI ベース URL: http://localhost:8080/v1 (AnythingLLM が Linux 内の Docker で実行されている場合、ブリッジ インターフェイスの IP アドレスまたは [http://host.docker.internal:8080/v1] (http://host.docker.internal:8080/v1) を使用します)。
- モデル名LocalAIにロードされたテキストモデルの正確な名前(例:llama-3-8b-instruct)。
- モデルコンテキストウィンドウモデルで許可されるコンテキストウィンドウを定義します(通常は4096または8192トークン)。
- ガード 変更点。
組み込みモデル構成 (埋め込み)

RAGを使用してドキュメントを処理および検索するには、AnythingLLMには テキストをベクトルに変換するモデル次のように設定してください。
- 内で 設定- AIプロバイダークリック 埋め込み (埋め込み)
- もう一度選択 LocalAI サプライヤーとして。
- 設定する ベースURL: http://localhost:8080/v1.
- En 埋め込みモデル名LocalAIでアクティブなベクターモデルの名前を入力または選択してください。
- クリック 保つ 選択内容を確認してください。これで、LocalAIとAnythingLLMの接続が完了しました。
ステップ4:ワークスペースの作成とRAGのテスト

LocalAIとAnythingLLMを接続した後、残るのは ワークスペースを作成してテストを実行するこれを行うには、「新しいワークスペース」をクリックして名前を付けます。次に、ファイルアップロードアイコンをクリックしてドキュメント(PDF、TXT、MD)をアップロードします。アップロードしたファイルを選択し、「ワークスペースに移動」をクリックしてから、「保存して埋め込む」をクリックします。
これでワークスペースのチャットウィンドウを開いて、コンテキストクエリを実行できます。AnythingLLM はあなたの質問をベクトルに変換し、ローカルのベクトルデータベースで最も関連性の高いスニペットを検索します。 フォーマットされたコンテキストがLocalAIに送信され、LocalAIが応答します。 あなたのファイルにある情報に基づいて。
完了しました!LocalAIとAnythingLLMの接続が完了しました。 簡単なプロセスです これは両方の利点を兼ね備えています。一方では、強力で互換性のある独自の推論エンジンを提供し、他方では、ローカルファイルにアクセスできる直感的なインターフェースを提供します。これらが一体となって、高い拡張性を備えたローカルAIエコシステムの基盤を形成します。
索引