Come importare un modello GGUF scaricato manualmente in LM Studio

L'importazione di un modello GGUF scaricato manualmente in LM Studio consente di utilizzare qualsiasi LLM scaricato da piattaforme come Hugging Face senza dover ricorrere al motore di ricerca integrato. È possibile importarlo in due modi: organizzando manualmente i file nella directory locale oppure eseguendo comandi nel terminale. Successivamente, Vediamo passo dopo passo come integrare i tuoi modelli personalizzati in LM Studio.

Perché importare un modello GGUF scaricato manualmente in LM Studio?

Importare un modello GGUF scaricato manualmente in LM Studio ti aiuterà a sfruttare al meglio il tuo hardware in modo completamente privato. In quali situazioni è consigliabile importare modelli scaricati al di fuori del programma? È consigliabile farlo. se la ricerca interna dell'app è insufficiente o non si adatta al tuo flusso di lavoro effettivoQuesti sono i motivi principali per cui viene utilizzato:

• Modelli non elencati in Faccia abbracciata o privato: Se stai addestrando il tuo modello o se uno sviluppatore ha condiviso con te un file .gguf privato non pubblicato in repository pubblici.
• Download interrotti o gestori esterni: Il gestore di download integrato nelle app spesso non funziona correttamente con connessioni lente o instabili. L'utilizzo di strumenti come wget consente di mettere in pausa/riprendere il download e scaricare file da 10 GB fino a 50 GB con maggiore affidabilità.
• Versioni sperimentali o modifiche personalizzate: È inoltre possibile valutare l'importazione in LM Studio di un modello GGUF scaricato manualmente, qualora il creatore del modello abbia rilasciato varianti con quantizzazioni personalizzate.
• Quando non si dispone di una connessione internet: Se ti trovi in ​​un luogo senza accesso a Internet, puoi trasferire il file GGUF utilizzando un'unità USB o una rete locale e integrarlo direttamente in LM Studio.

Come importare un modello GGUF scaricato manualmente in LM Studio.

Successivamente, spieghiamo Istruzioni dettagliate su come importare un modello GGUF scaricato manualmente in LM Studio.Innanzitutto, vedremo come procedere organizzando manualmente i file all'interno della cartella dei modelli di LM Studio. Successivamente, mostreremo come importarli eseguendo un comando nel terminale.

Organizza i file manualmente

Per importare un modello GGUF scaricato manualmente in LM Studio, è necessario Posizionalo all'interno della cartella dei modelli interni, rispettando la struttura delle cartelle richiesta dall'applicazione.Per fare ciò, segui questi passaggi:

1. Apri la cartella dei modelli locali: Apri LM Studio, vai alla scheda I miei modelli (l'icona della cartella nella barra laterale sinistra) e fai clic su Apri directory modelli. Se preferisci sfogliare manualmente i file dal tuo Esplora file:
   • Windows: C:\Users\YOUR_USER\.cache\lm-studio\models
   • macOS/Linux: ~/.cache/lm-studio/models
2. Crea la struttura delle sottocartelle: LM Studio richiede che i modelli si trovino all'interno di una cartella autore e di una sottocartella modello. Crea le cartelle seguendo questo percorso: models / [Nome_Autore] / [Nome_Modello]. Ecco un esempio: models/QuantFactory/Llama-3-8B-Instruct-GGUF
3. Posiziona il file .gguf: Sposta o copia il tuo file .gguf direttamente nella sottocartella del modello che hai appena creato.
4. Ricarica e seleziona il modello: Torna a LM Studio. Nella scheda I miei modelli o nel menu a tendina di selezione del modello in alto, fai clic sull'icona Ricarica/Aggiorna (oppure riavvia l'applicazione se non viene rilevata immediatamente). Il modello apparirà pronto per essere caricato in memoria.

A volte, LM Studio non è in grado di caricare un modelloIn un precedente articolo abbiamo analizzato il Errori comuni e relative soluzioni Passo dopo passo, che puoi applicare. Puoi dare un'occhiata per scoprire cosa succede se non riesci a caricare un modello e come risolvere il problema.

Utilizzare lms import

Un altro modo per importare un modello GGUF scaricato manualmente in LM Studio è eseguendo il seguente comando nel terminale:

• importazione LMS Segui le istruzioni interattive per completare il processo di importazione.
• Questa è la struttura di directory del modello prevista per LM Studio:
  • ~/.lmstudio/models/
    editore/
    modello/
    file-modello.gguf
• Ad esempio, se si dispone di un modello chiamato ocelot-v1 pubblicato da infra-ai, la struttura sarebbe la seguente:
  • ~/.lmstudio/models/
    infra-ai/
    ocelot-v1/
    ocelot-v1-instruct-q4_0.gguf

Utilizzo dell'interfaccia a riga di comando nativa di LM Studio

LM Studio include uno strumento da riga di comando per Gestire ed eseguire modelli senza aprire l'interfaccia graficaPer importare un modello GGUF scaricato manualmente in LM Studio, puoi anche procedere come segue:

1. Installa il comando lms: Apri LM Studio, vai alla scheda Sviluppatore / CLI nella barra laterale e fai clic su Installa lo strumento da riga di comando 'lms' (oppure esegui lms Bootstrap nel tuo terminale).
2. Carica il modello utilizzando LMS: Una volta che il file .gguf si trova nella cartella models, eseguire: lms load –gpu max.
3. Avvia una conversazione interattiva: Chat LMS.
4. Avvia un server locale compatibile con OpenAI: Avvio del server LMS.

Vantaggi dell'importazione di un modello GGUF scaricato manualmente in LM Studio: è possibile

L'importazione di un modello GGUF scaricato manualmente in LM Studio offre diverse Vantaggi chiave in termini di prestazioni, accessibilità e personalizzazione.Questi sono i principali vantaggi:

• Download più veloci e stabili: I gestori di download esterni gestiscono le connessioni lente o instabili meglio del client integrato. Questo permette di mettere in pausa o riprendere download di grandi dimensioni senza perdere i progressi.
• Utilizzo di modelli propri o privati: Se addestrate i vostri modelli locali, dovrete importarli manualmente utilizzando uno di questi metodi se non sono ospitati in alcun repository pubblico.
• Compatibilità con ambienti offline: Consente di trasferire i modelli su unità USB o reti locali per utilizzarli su computer ad alta sicurezza o privi di accesso a Internet.
• Risparmiare spazio su disco: Eviterete di duplicare i file se già utilizzate gli stessi file .gguf in altri ambienti come llama.cpp, Ollama o AnythingLLM. Vi basterà spostarli o collegarli alla cartella dei modelli di LM Studio.
• Maggiore controllo delle versioni: In questo modo si garantisce l'utilizzo di una versione esatta del modello, senza il rischio che esso subisca modifiche o venga aggiornato inaspettatamente nel repository di origine.

In conclusione, l'importazione manuale di un modello GGUF in LM Studio ti offre il controllo completo del tuo ambiente locale. Sia che tu lo faccia organizzando i file in sottocartelle o utilizzando il terminale, questa procedura ti permette di sfruttare le quantizzazioni personalizzate, lavorare offline e gestire le tue risorse in modo efficiente. Applicando le idee discusse in questo articolo, sarai in grado di Personalizza la tua esperienza di sviluppo e dai slancio ai tuoi progetti di intelligenza artificiale..