Guide complet pour connecter LM Studio à AnythingLLM et maîtriser l'IA locale

Si vous souhaitez utiliser l'intelligence artificielle sur votre ordinateur sans envoyer toutes vos conversations et tous vos documents aux serveurs d'une grande entreprise, combinez-les. LM Studio avec AnythingLLM C'est l'une des options les plus pratiques. Les deux applications peuvent fonctionner en local et effectuer différentes tâches au sein du système.

LM Studio gère le téléchargement et l'exécution du modèle de langage, tandis qu'AnythingLLM fournit l'interface conversationnelle, les espaces de travail, la gestion documentaire, le système RAG et les outils d'agent. En les connectant, vous pouvez créer un assistant personnel capable de répondre à des questions sur vos propres fichiers.

Dans ce guide, nous verrons Comment connecter LM Studio à AnythingLLML'adresse à utiliser dépend du type d'installation et de la manière de configurer les modèles de langage et les embeddings pour qu'ils fonctionnent avec les documents.

À quoi sert chaque application ?

LM Studio est une application permettant de télécharger, charger et exécuter des modèles de langage sous Windows, macOS et Linux. Entre autres fonctionnalités, elle permet de travailler avec des modèles au format GGUF et de les exposer à l'aide d'un API locale prise en charge par OpenAI.

Cela signifie que d'autres applications peuvent envoyer des requêtes au modèle via une adresse comme :

http://localhost:1234

AnythingLLM sert de couche de productivité. Elle permet de créer des espaces de travail, d'enregistrer des conversations, d'intégrer des documents, de configurer des agents et de connecter différents fournisseurs de modèles. Le modèle système peut également être remplacé par un autre au sein d'un espace de travail spécifique.

AnythingLLM intègre sa propre option de modélisation locale ; LM Studio n’est donc pas nécessaire. Cependant, sa connexion s’avère utile si vous gérez déjà vos modèles depuis LM Studio, souhaitez tester différentes quantifications ou préférez dissocier le moteur d’inférence de l’interface de gestion des documents.

Ce dont vous avez besoin avant de commencer

Pour établir la connexion, vous devez avoir installé les deux applications et téléchargé un modèle compatible dans LM Studio. Il est également recommandé de vérifier que le modèle fonctionne correctement dans le chat de LM Studio avant de tenter de l'utiliser depuis AnythingLLM.

Les besoins en mémoire dépendent du modèle, de la quantification, du contexte configuré et du nombre de couches déportées sur le GPU. À titre indicatif, LM Studio recommande : au moins 16 Go de RAM et, sous Windows, un GPU avec un minimum de 4 Go de VRAM dédiée.

Cela ne signifie pas que n'importe quel modèle fonctionnera correctement avec cette configuration. Il est préférable de commencer avec des modèles quantifiés de petite taille. Un modèle 7B ou 8B dans Q4_K_M est généralement un choix judicieux, mais il consomme également de la mémoire supplémentaire pour le contexte, le cache KV et les opérations d'inférence.

De plus, il est conseillé d'utiliser un modèle du type Instruire ou entraîné à converser. Un modèle de base peut générer du texte, mais il suivra généralement les instructions moins efficacement et offrira une expérience moins utile au sein d'AnythingLLM.

Que sont GGUF et la quantification ?

GGUF est l'un des formats utilisés pour distribuer des modèles compatibles avec les moteurs basés sur llama.cpp. Il peut contenir les poids du modèle et diverses métadonnées nécessaires à son chargement correct.

La quantification réduit la précision utilisée pour stocker les poids. Cela diminue la taille des fichiers et les besoins en mémoire, même si cela peut entraîner une légère perte de qualité. Une variante Q4 est nettement plus petite que le modèle FP16 d'origine, tandis que les variantes Q5 et Q8 conservent une précision supérieure au prix d'une consommation accrue de ressources.

Q4_K_M offre généralement un bon équilibre Pour les ordinateurs personnels, ce n'est pas systématiquement la meilleure option. Si vous disposez de suffisamment de mémoire et avez besoin d'une plus grande précision, vous pouvez essayer Q5_K_M ou Q8_0. Si le modèle ne convient pas, vous devrez utiliser une quantification plus légère, réduire le contexte ou choisir un modèle avec moins de paramètres.

N'oubliez pas non plus que 8B signifie environ 8.000 milliards de paramètres. En espagnol, il ne faut pas traduire par « ocho trillion » (huit billions), comme le fait le terme anglais… milliard équivalent à un milliard.

Comment démarrer le serveur local de LM Studio

Ouvrez LM Studio et accédez à la section de recherche ou de découverte de modèles. Téléchargez un modèle adapté à votre équipement et patientez jusqu'à la fin du processus.

Ensuite, ouvrez la section dédiée au serveur local ou au mode développeur, sélectionnez le modèle et chargez-le. LM Studio utilise généralement le port 1234 pour votre serveur local.

L'adresse habituelle sera :

http://localhost:1234

LM Studio propose des points de terminaison compatibles avec OpenAI, comme celui utilisé pour lister les modèles :

http://localhost:1234/v1/models

Vous pouvez ouvrir cette adresse dans votre navigateur ou effectuer une requête pour vérifier si le serveur répond. Si des informations sur les modèles disponibles s'affichent, l'API fonctionne.

Les versions actuelles de LM Studio vous permettent également de démarrer le serveur depuis le terminal :

lms server start

Le serveur peut fonctionner en arrière-plan, mais il doit rester actif pendant toute la durée d'utilisation d'AnythingLLM. Si vous arrêtez LM Studio, téléchargez le modèle ou éteignez le serveur, AnythingLLM cessera de recevoir des réponses.

Comment connecter LM Studio à AnythingLLM

Une fois le serveur actif, ouvrez AnythingLLM et accédez à ses paramètres. Dans les paramètres du fournisseur de modèle de langue, sélectionnez LM Studio.

Si vous utilisez LM Studio et AnythingLLM Desktop sur le même ordinateur, saisissez cette adresse :

http://127.0.0.1:1234/v1

Cela peut également fonctionner :

http://localhost:1234/v1

AnythingLLM interrogera le serveur pour afficher les modèles disponibles. Sélectionnez celui que vous souhaitez utiliser et enregistrez la configuration.

Si la liste semble vide, vérifiez que le serveur est toujours en marche, que le port est correct et que LM Studio autorise les connexions nécessaires. Dans certaines versions, il peut être nécessaire de charger le modèle au préalable ou de sélectionner manuellement son identifiant.

Après avoir enregistré vos modifications, créez un espace de travail et entamez une conversation simple. Avant d'ajouter des documents, vérifiez que le modèle répond correctement à un message standard. Cela vous permettra de distinguer un problème de connexion d'une erreur liée à RAG ou aux intégrations.

Quelle adresse utiliser si AnythingLLM fonctionne dans Docker ?

L'une des erreurs les plus fréquentes se produit lorsque AnythingLLM est exécuté dans un conteneur Docker. Dans ce cas, localhost y 127.0.0.1 Ils pointent vers le conteneur lui-même, et non vers l'ordinateur sur lequel LM Studio est exécuté.

Dans Docker Desktop pour Windows ou macOS, vous devriez normalement utiliser :

http://host.docker.internal:1234/v1

Dans certaines installations Docker sous Linux, il peut être nécessaire d'utiliser l'adresse du pont Docker :

http://172.17.0.1:1234/v1

L'adresse exacte peut varier si vous avez modifié le réseau Docker. Vous devez également configurer LM Studio pour accepter les connexions provenant d'autres appareils du réseau local ou du conteneur. N'exposez pas le serveur d'inférence directement sur Internet sans authentification ni mesures de sécurité supplémentaires.

Si la connexion continue d'échouer, vérifiez depuis le conteneur si le point de terminaison est accessible. Le problème ne vient pas du modèle si AnythingLLM ne parvient même pas à atteindre le port 1234.

Configurer un modèle d'intégration

Le modèle conversationnel et le modèle d'embeddings remplissent des fonctions différentes. Le premier rédige les réponses, tandis que le second transforme les fragments de document en vecteurs numériques afin qu'ils puissent être retrouvés par le biais de recherches sémantiques.

AnythingLLM inclut un modèle d'embeddings local qui est téléchargé lors de la première utilisation. Les représentations générées par ce modèle restent sur l'ordinateur lors de l'utilisation de la configuration locale.

Vous pouvez également utiliser LM Studio comme fournisseur d'intégration, mais pour ce faire, vous devez télécharger et téléverser un modèle d'intégration spécifiqueVous ne devez pas sélectionner automatiquement le même LLM que celui utilisé pour la conversation, car un modèle conversationnel n'offre pas nécessairement un point de terminaison d'intégration compatible.

Les paramètres du fournisseur d'intégration s'appliquent à l'ensemble du système. Si vous modifiez le modèle après l'indexation des documents, les dimensions vectorielles peuvent différer. Dans ce cas, vous devrez supprimer puis régénérer les intégrations des documents concernés.

Pour une installation facile, l'option la plus pratique consiste à utiliser LM Studio comme fournisseur LLM et à conserver le modèle d'intégration local par défaut d'AnythingLLM.

Comment utiliser les documents et RAG

AnythingLLM vous permet de joindre des documents directement à une conversation ou de les intégrer à un espace de travail à l'aide de RAG. Il ne s'agit pas exactement des mêmes procédures.

Lorsque vous joignez un fichier à la conversation, AnythingLLM peut insérer son contenu directement dans le contexte de cette conversation. Cela permet d'accéder à une plus grande partie du document, mais consomme davantage de ressources et peut dépasser la capacité de la fenêtre de contexte du modèle.

Lorsque vous intégrez un document à un espace de travail, AnythingLLM le divise en fragments, génère leurs représentations vectorielles et les stocke dans une base de données vectorielle. Lorsque vous posez une question, il récupère les fragments qu'il juge les plus pertinents et les transmet au modèle avec votre requête.

LanceDB est la base de données vectorielle locale par défaut, bien qu'AnythingLLM prenne en charge d'autres alternatives. Il est déconseillé de changer de base de données après l'indexation de tous les fichiers, car les vecteurs ne sont pas migrés automatiquement et les documents devront être retraités.

RAG peut réduire les réponses erronées en fournissant des informations pertinentes, mais Cela n'élimine pas complètement les hallucinations.Le modèle peut mal interpréter un fragment, extraire une section inappropriée ou répondre en utilisant ses connaissances antérieures.

Ajuster les fragments et la récupération

Il n'existe pas de format de fragment idéal pour tous les documents. Un manuel technique, un tableau, un contrat et un roman ont tous des structures très différentes. Utilisez toujours entre 1024 et 2048 caractères. ne garantit pas de meilleures réponses.

Les extraits courts permettent des recherches plus précises, mais peuvent décontextualiser une explication. Les extraits longs regroupent davantage d'informations, mais introduisent du bruit et occupent une plus grande partie de l'espace disponible.

Avant de modifier les paramètres globaux, testez les paramètres par défaut avec des questions dont vous connaissez les réponses. Si le système ne récupère pas les informations correctes, vous pouvez vérifier les points suivants :

• La taille des fragments et leur chevauchement.
• Le nombre maximal de fragments envoyés au modèle.
• La qualité du texte extrait du fichier.
• Le modèle d'intégration sélectionné.
• Le mode de recherche et l'option de réorganisation.
• La fenêtre contextuelle disponible dans le LLM.

AnythingLLM recommande généralement de ne pas dépasser quatre à six extraits de contexte pour la plupart des modèles. En envoyer trop risque de saturer l'espace disponible et d'y introduire des informations superflues.

L'option de recherche optimisée pour la précision récupère davantage de résultats et les réorganise à l'aide d'un modèle de classement. Cela peut améliorer la pertinence, mais augmente la consommation de ressources et la latence.

Utiliser des agents et des outils

AnythingLLM inclut des agents capables d'utiliser des outils tels que la navigation web, l'extraction de données, l'interrogation de documents, la génération de graphes et l'accès aux bases de données. Ils sont généralement activés via la fonction d'agent disponible dans la conversation.

Tous les modèles locaux n'utilisent pas des outils avec la même fiabilité. Un petit modèle peut indiquer qu'il va exécuter une action sans pour autant appeler correctement l'outil. Pour un résultat optimal, utilisez un modèle qui indique explicitement sa compatibilité avec utilisation de l'outil ou appels de fonction.

Il convient également de n'activer que les compétences nécessaires. Accorder à un agent l'accès au système de fichiers, à une base de données ou à des services externes étend ses capacités, mais amplifie aussi les conséquences d'une instruction mal interprétée.

Pour les connexions SQL, utilisez un utilisateur en lecture seule autant que possible. Même si l'agent est configuré pour effectuer des requêtes sécurisées, des restrictions réelles doivent également être appliquées au niveau de la base de données.

Connectez les serveurs MCP avec AnythingLLM

AnythingLLM prend en charge les outils fournis via le protocole MCP (Model Context Protocol). Les serveurs MCP peuvent être ajoutés depuis l'écran de gestion correspondant ou via le fichier. anythingllm_mcp_servers.json situé dans le dossier de stockage des modules complémentaires.

Dans AnythingLLM Desktop, les serveurs MCP nécessitent une version compatible de l'application et sont utilisés par les agents. De plus, l'implémentation est axée sur Outils MCPToutes les fonctionnalités du protocole, telles que les ressources, les invites ou l'échantillonnage, ne sont pas nécessairement disponibles.

Avant d'ajouter un serveur, vérifiez que des commandes comme node, npx, uv o uvx Ils sont installés lorsque votre configuration l'exige. AnythingLLM n'installe pas automatiquement tous les programmes requis par chaque serveur MCP.

N’exécutez pas de serveurs provenant de sources inconnues. Un outil MCP peut lire des fichiers, interroger des identifiants ou modifier des informations s’il dispose des autorisations nécessaires. AnythingLLM Cloud ne propose pas non plus d’agents MCP ni d’agents personnalisés en raison de ces risques de sécurité ; pour les utiliser, vous avez besoin de l’application de bureau ou d’une installation autogérée compatible.

Confidentialité : combien de temps les données restent sur l'ordinateur

Cette combinaison peut fonctionner entièrement en local si LM Studio exécute le modèle, AnythingLLM utilise des plongements lexicaux locaux et LanceDB stocke les vecteurs sur la même machine.

Toutefois, l'installation des deux applications ne garantit pas qu'aucune donnée ne quittera votre ordinateur. Des informations peuvent toujours être envoyées vers l'extérieur si vous activez :

• Un fournisseur de modèles ou d'intégrations hébergés dans le cloud.
• Un outil de navigation ou de recherche Web.
• Un serveur MCP distant.
• Une API tierce utilisée par un agent.
• Un système externe de transcription ou de stockage.

Si vous devez manipuler des documents confidentiels, examinez chaque fournisseur et outil individuellement. Sachez également que les documents intégrés à un espace de travail peuvent être accessibles aux autres utilisateurs ayant accès à cet espace.

Comment améliorer ses performances

Si la génération est trop lente ou si LM Studio affiche des erreurs de mémoire, commencez par choisir un modèle plus petit ou une quantification plus légère. Vous pouvez également réduire la taille de la fenêtre de contexte et ajuster le nombre de couches déchargées sur le GPU.

Sur un ordinateur doté d'un GPU dédié, LM Studio peut répartir le modèle entre la VRAM et la RAM grâce au déchargement GPU. Plus le nombre de couches chargées par le GPU est élevé, plus le modèle est généralement rapide ; toutefois, il est conseillé de prévoir une marge de sécurité pour le système, le cache KV et les autres applications.

Sur les Mac équipés de la puce Apple Silicon, le processeur et la carte graphique partagent une mémoire unifiée. Cela évite certains transferts de données typiques des cartes graphiques dédiées, mais le système d'exploitation et d'autres applications ont également besoin de cette mémoire.

Il est inexact d'affirmer que 16 Go de RAM et 6 Go de VRAM suffisent amplement pour n'importe quel modèle 7B. Cette configuration permet d'exécuter de nombreux modèles quantifiés, mais la consommation finale de ressources dépend de la variante, du contexte, du moteur de traitement et du niveau de déchargement.

Les modèles 70B nécessitent beaucoup plus de mémoire, même après quantification. Ils peuvent fonctionner en répartissant la charge entre le CPU et le GPU ou en utilisant plusieurs GPU, bien que les performances puissent chuter considérablement si une grande partie du traitement repose sur la RAM et le processeur.

Que vérifier si AnythingLLM ne se connecte pas à LM Studio ?

Si le modèle n'apparaît pas ou si AnythingLLM renvoie une erreur, vérifiez les points suivants :

1. Vérifiez que le serveur LM Studio est en cours d'exécution.
2. Vérifiez que le modèle est téléchargé et disponible.
3. Ouvrir http://localhost:1234/v1/models pour vérifier l'API.
4. Utiliser http://127.0.0.1:1234/v1 avec des applications de bureau.
5. Utiliser host.docker.internal si AnythingLLM se trouve à l'intérieur de Docker Desktop.
6. Permet d'établir les connexions réseau nécessaires dans LM Studio.
7. Vérifiez votre pare-feu Windows et assurez-vous que le port 1234 n'est pas bloqué.
8. Vérifiez que le modèle tient en mémoire et que son chargement est terminé.
9. Essayez d'abord une conversation sans documents ni outils.

Si la conversation normale fonctionne mais que les réponses aux fichiers sont incorrectes, le problème provient probablement du modèle d'intégration, de l'extraction de documents, de l'indexation ou des paramètres de récupération.

Avec LM Studio comme moteur d'inférence et AnythingLLM comme interface pour les documents et les agents, vous pouvez créer un assistant local flexible sans forcément dépendre d'une API cloud. L'essentiel est d'adopter la bonne approche, de bien distinguer LLM du modèle d'intégration et de vérifier quels outils externes ont accès aux informations.