Come scaricare ed eseguire modelli in Jan AI

Jan AI è uno dei applicazioni più intuitive per l'utilizzo locale di grandi modelli linguisticiL'hai già provato? In questo post ti spiegheremo i diversi modi per scaricare ed eseguire modelli in Jan AI. Approfondiremo anche le impostazioni che puoi applicare per perfezionare ulteriormente la generazione delle risposte.

Come scaricare ed eseguire modelli in Jan AI

Scaricare ed eseguire modelli in Jan AI è un processo abbastanza semplice. Infatti, questa applicazione si distingue per avere un interfaccia intuitiva e facile da usare È facile da usare, anche per chi ha poca esperienza. Ma non sottovalutatelo! È anche uno strumento potente con capacità di integrazione professionali e tecniche.

Jan non è altro che un Assistente AI open-source che funziona al 100% offline.Ciò significa che tutti i modelli che eseguirai verranno elaborati sul tuo computer, utilizzando la tua RAM e la tua potenza di elaborazione. In questo modo i tuoi dati non lasceranno mai il tuo computer: la tua privacy è totale!

Lo strumento gestisce i modelli in formato GGUF tramite Llama.cpp, rendendolo compatibile con una vasta gamma di hardware, da Mac a Finestre e Linux. Inoltre offre un Un'interfaccia intuitiva che semplifica il download e la gestione di questi modelliE si collega direttamente al vasto catalogo di Hugging Face. Vediamo più da vicino come funziona.

Metodo 1: Scarica da Jan's Hub

Se sei nuovo di Jan o stai cercando l'esperienza più fluida, il modo più semplice e diretto per scaricare ed eseguire modelli in Jan AI è tramite Jan Hub. L'applicazione include un Hub integrato che funge da finestra sul mondo delle modelle di Hugging Face.

Nel caso non lo sapessi, Faccia abbracciata è il piattaforma e comunità globali Il luogo più importante in cui sviluppatori e aziende condividono e testano modelli di intelligenza artificiale open source. Questo spazio è per il mondo dell'intelligenza artificiale ciò che GitHub è per il mondo della programmazione.

Tramite Jan puoi esplorare l'enorme diversità dei modelli open source disponibile su Hugging Face.

• Per fare ciò, apri Jan AI e fai clic su Scheda Hub, identificato da un'icona a quattro quadrati nella barra laterale.
• Lì puoi sfogliare il elenco dei modelli Disponibile. Clicca su uno qualsiasi di essi per visualizzare dettagli come dimensioni, parametri e una breve descrizione.
• Una delle funzioni più utili dell'Hub è che ti dice se un modello "Si adatta", "Potrebbe essere lento" o "Non si adatta" al tuo hardware. Questo ti aiuta a scegli modelli che funzioneranno correttamente nella tua squadra senza dover tirare a indovinare.
• Vedrai anche etichette quantizzazione, ad esempio "Piccola", "Bilanciata" o "Grande", con un'etichetta "Consigliata" per l'opzione predefinita.

Come già accennato, scaricare ed eseguire modelli in Jan AI è un processo semplice. Lo strumento lo rende facilissimo: una volta trovato il modello giusto, basta cliccare sul pulsante. Scarico. L'avanzamento del download verrà visualizzato nella barra superiore e potrai annullarlo in qualsiasi momento, se lo desideri.

Metodo 2: Importa un modello direttamente da Hugging Face

Questo è un altro modo per scaricare ed eseguire modelli in Jan AI, particolarmente utile se il modello che hai in mente non è elencato nell'Hub. In tal caso, puoi Vai direttamente al sito web di Hugging FaceCerca il modello in questione e infine importalo. Vediamo come fare passo dopo passo:

1. Visita il sito web di Hugging Face e trova il modello che ti interessa. Assicurati che sia disponibile. Formato GGUF per renderlo compatibile con gennaio.
2. Copiare l'ID del modello, Per esempio prism-ml/Ternary-Bonsai-27B-gguf
3. Ora torna all'app Jan, vai alla scheda Hub e incolla l'ID del modello nella barra di ricerca. Jan cercherà il modello su Hugging Face e ti offrirà la possibilità di scaricarlo.
4. Se il modello ha versioni multiple quantizzatePuoi scegliere la versione più adatta al tuo hardware. Ad esempio, un file Q4_K_M offre solitamente un buon compromesso tra prestazioni e qualità. Per visualizzare le diverse versioni, fai clic sulla scheda "Mostra varianti" nell'Hub di Jan.

Metodo 3: Utilizzare il pulsante "Usa questo modello" in Hugging Face

Esaminiamo ora un terzo metodo per scaricare ed eseguire modelli in Jan AI, questa volta direttamente dalla piattaforma Hugging Face. Il sito web ha integrato Jan come una delle sue applicazioni locali. Questi sono gli strumenti che puoi utilizzare per aprire un modello. È il metodo più veloce:

1. Vai alla pagina del modello su Hugging Face.
2. Individua e fai clic sul pulsante "Usa questo modello".
3. Nel menu a tendina, nella sezione "App locali", seleziona gennaio. Questo dovrebbe avviare il download direttamente nella tua app.

Un dettaglio: affinché Hugging Face mostri Jan tra le applicazioni locali, Innanzitutto, accedi a Hugging Face con il tuo indirizzo email e la tua password.Con questo, ora sono disponibili tre metodi per scaricare ed eseguire modelli in Jan AI. Ma vediamo ora come eseguire e utilizzare il modello una volta scaricato.

Come faccio ad avviare e utilizzare il modello una volta scaricato?

Una volta che il modello è sul tuo computer, eseguirlo è semplice. Puoi interagire con esso direttamente nell'interfaccia di chat di Jan. Per selezionarlo, Vai alla chat ed espandi la scheda in altoLì troverai tutti i modelli scaricati e le diverse opzioni per attivare i modelli tramite chiave API.

Un altro aspetto estremamente utile del download e dell'esecuzione di modelli in Jan AI è che puoi regolare vari parametri di prestazioneCiò consente di regolare con precisione la qualità o la velocità con cui il modello genera le risposte. Basta cliccare sull'icona a forma di ingranaggio accanto al modello e verranno visualizzate opzioni come:

• Temperatura: Controlla la creatività.
• Top-p: regola la diversità delle parole.
• Numero massimo di token: definisce la lunghezza massima della risposta.
• dimensione del contesto: determina la quantità di informazioni che il modello può memorizzare.

COSÌ, Se desideri precisione, abbassa la temperatura. Se desideri creatività, alzala.Inoltre, per l'analisi tecnica, amplia il contesto. Sperimentando con queste opzioni è possibile definire il tipo di risposta che si otterrà dopo ogni query.

Ed ecco fatto! Scaricare ed eseguire modelli in Jan AI è un processo sorprendentemente accessibile. Fai solo attenzione a Scegli modelli che funzionino perfettamente sul tuo computerSfrutta le diverse opzioni di configurazione di Jan AI e libera tutto il potenziale dell'intelligenza artificiale locale.