Comment télécharger et exécuter des modèles dans Jan AI

Jan AI est l'un des des applications plus conviviales pour l'utilisation locale de grands modèles de langageL'avez-vous déjà essayé ? Dans cet article, nous vous présenterons les différentes méthodes pour télécharger et exécuter des modèles dans Jan AI. Nous aborderons également les paramètres permettant d'affiner la génération des réponses.

Comment télécharger et exécuter des modèles dans Jan AI

Télécharger et exécuter des modèles dans Jan AI est un processus relativement simple. En fait, cette application se distingue par sa simplicité d'utilisation. interface conviviale et facile Il est facile à utiliser, même pour les débutants. Mais ne le sous-estimez pas ! C’est aussi un outil puissant doté de fonctionnalités d’intégration professionnelles et techniques.

Jan n'est rien de plus qu'un Assistant IA open source fonctionnant 100% hors ligneCela signifie que tous les modèles que vous exécutez le seront sur votre propre machine, en utilisant votre mémoire vive et votre puissance de traitement. Vos données restent ainsi toujours sur votre ordinateur : elles sont totalement confidentielles !

L'outil gère les modèles au format GGUF via Llama.cpp, ce qui le rend compatible avec une large gamme de matériels, des Mac aux Windows et Linux. De plus, il offre un Une interface intuitive qui simplifie le téléchargement et la gestion de ces modèleset il donne directement accès au vaste catalogue de Hugging Face. Voyons plus en détail comment cela fonctionne.

Méthode 1 : Téléchargement depuis le hub de Jan

Si vous débutez avec Jan ou si vous recherchez une expérience optimale, le moyen le plus simple et le plus direct de télécharger et d'exécuter des modèles dans Jan AI est d'utiliser Jan Hub. L'application propose : Hub intégré qui offre un aperçu du monde des mannequins de Hugging Face.

Au cas où vous ne le sauriez pas, Visage étreint est le plateforme et communauté mondiales Le lieu incontournable où développeurs et entreprises partagent et testent des modèles d'IA open source. Cet espace est à l'intelligence artificielle ce que GitHub est à la programmation.

Jusqu'en janvier, vous pourrez explorer l'immense diversité des modèles open source Disponible chez Hugging Face.

• Pour ce faire, ouvrez Jan AI et cliquez sur le Onglet Hub, identifiée par une icône à quatre carrés dans la barre latérale.
• Vous pouvez y parcourir le liste des modèles Disponible. Cliquez sur l'un d'eux pour afficher des détails tels que sa taille, ses paramètres et une brève description.
• L'une des fonctionnalités les plus utiles du Hub est qu'il vous indique si un modèle est compatible, potentiellement lent ou incompatible avec votre matériel. Cela vous permet de… choisissez des modèles qui fonctionneront correctement dans votre équipe sans avoir à deviner.
• Vous verrez également étiquettes quantification, telle que « Petit », « Équilibré » ou « Grand », avec une étiquette « Recommandé » pour l’option par défaut.

Comme nous l'avons mentionné, télécharger et exécuter des modèles dans Jan AI est un processus simple. L'outil facilite grandement la tâche : une fois le modèle adéquat trouvé, il suffit de cliquer sur le bouton. Décharge. La progression du téléchargement s'affichera dans la barre supérieure et vous pourrez l'annuler à tout moment si vous le souhaitez.

Méthode 2 : Importer un modèle directement depuis Hugging Face

Voici une autre façon de télécharger et d'exécuter des modèles dans Jan AI, particulièrement utile si le modèle que vous recherchez n'est pas répertorié dans le Hub. Dans ce cas, vous pouvez Accédez directement au site web de Hugging FaceRecherchez le modèle en question et importez-le. Voici la marche à suivre :

1. Rendez-vous sur le site web de Hugging Face et trouvez le modèle qui vous intéresse. Assurez-vous qu'il est en stock. Format GGUF pour le rendre compatible avec Jan.
2. Copiez l'identifiant du modèle, Par exemple prisme-ml/Ternary-Bonsai-27B-gguf
3. Retournez dans l'application Jan, accédez à l'onglet Hub et collez l'identifiant du modèle dans la barre de recherche. Jan recherchera le modèle sur Hugging Face et vous proposera de le télécharger.
4. Si le modèle a versions quantifiées multiplesVous pouvez choisir le fichier le mieux adapté à votre matériel. Par exemple, un fichier Q4_K_M offre généralement un bon compromis entre performances et qualité. Pour consulter les différentes versions, cliquez sur l'onglet « Afficher les variantes » dans le Hub de janvier.

Méthode 3 : Utilisez le bouton « Utiliser ce modèle » dans Hugging Face

Examinons une troisième façon de télécharger et d'exécuter des modèles dans Jan AI, cette fois directement depuis la plateforme Hugging Face. Le site web a intégré Jan comme l'une de ses applications locales. Voici les outils que vous pouvez utiliser pour ouvrir un modèle. C'est la méthode la plus rapide :

1. Rendez-vous sur la page du mannequin sur Hugging Face.
2. Trouvez et cliquez sur le bouton « Utiliser ce modèle ».
3. Dans le menu déroulant, sous la section « Applications locales », sélectionnez Jan. Le téléchargement devrait alors se lancer directement dans votre application.

Un détail : pour que Hugging Face affiche Jan parmi les applications locales, Tout d'abord, connectez-vous à Hugging Face avec votre adresse e-mail et votre mot de passe.Il existe désormais trois méthodes pour télécharger et exécuter des modèles dans Jan AI. Voyons maintenant comment exécuter et utiliser le modèle une fois téléchargé.

Comment puis-je exécuter et utiliser le modèle une fois téléchargé ?

Une fois le modèle installé sur votre ordinateur, son utilisation est simple. Vous pouvez interagir directement avec lui via l'interface de chat de Jan. Pour le sélectionner, Allez dans la conversation et développez l'onglet en haut.Vous y trouverez tous les modèles téléchargés et les différentes options pour activer les modèles à l'aide d'une clé API.

Un autre aspect extrêmement utile du téléchargement et de l'exécution de modèles dans Jan AI est que vous pouvez ajuster divers paramètres de performanceCela vous permet d'ajuster avec précision la qualité ou la rapidité des réponses du modèle. Il vous suffit de cliquer sur l'icône d'engrenage à côté du modèle pour afficher des options telles que :

• Température: Elle contrôle la créativité.
• Top-p: ajuste la diversité des mots.
• Jetons maximum: définit la longueur maximale de la réponse.
• taille du contexte: détermine la quantité d'informations que le modèle peut mémoriser.

Donc, Pour plus de précision, baissez la température. Pour plus de créativité, augmentez-la.Et pour l'analyse technique, cela enrichit le contexte. Jouer avec ces options permet de définir le type de réponse obtenu après chaque requête.

Et voilà ! Télécharger et exécuter des modèles dans Jan AI est un processus étonnamment simple. Faites juste attention à Choisissez des modèles qui fonctionnent parfaitement sur votre ordinateur.Tirez parti des différentes options de configuration de Jan AI et libérez le potentiel de l'intelligence artificielle locale.