Πώς να εισαγάγετε ένα μοντέλο GGUF που έχετε κατεβάσει χειροκίνητα στο LM Studio

Η εισαγωγή ενός μη αυτόματα ληφθέντος μοντέλου GGUF στο LM Studio σάς επιτρέπει να χρησιμοποιήσετε οποιοδήποτε LLM που κατεβάζετε από πλατφόρμες όπως το Hugging Face χωρίς να βασίζεστε στην ενσωματωμένη μηχανή αναζήτησης. Μπορείτε να το εισαγάγετε με δύο τρόπους: οργανώνοντας μη αυτόματα τα αρχεία στον τοπικό σας κατάλογο ή εκτελώντας εντολές στο τερματικό. Στη συνέχεια, Ας δούμε βήμα προς βήμα πώς να ενσωματώσετε τα προσαρμοσμένα μοντέλα σας στο LM Studio.

Γιατί να εισαγάγετε ένα μοντέλο GGUF που έχετε κατεβάσει χειροκίνητα στο LM Studio

Η εισαγωγή ενός μοντέλου GGUF που έχετε κατεβάσει χειροκίνητα στο LM Studio θα σας βοηθήσει να αξιοποιήσετε στο έπακρο το υλικό σας με έναν εντελώς ιδιωτικό τρόπο. Σε ποιες περιπτώσεις συνιστάται η εισαγωγή μοντέλων που έχουν ληφθεί εκτός του εργαλείου; Συνιστάται να το κάνετε αυτό. εάν η εσωτερική αναζήτηση της εφαρμογής δεν είναι επαρκής ή δεν ταιριάζει με την πραγματική ροή εργασίας σαςΑυτοί είναι οι κύριοι λόγοι χρήσης:

• Μοντέλα που δεν αναφέρονται στο Αγκαλιάζοντας το πρόσωπο ή ιδιωτικό: Εάν εκπαιδεύετε το δικό σας μοντέλο ή εάν ένας προγραμματιστής μοιράστηκε μαζί σας ένα ιδιωτικό αρχείο .gguf που δεν έχει δημοσιευτεί σε δημόσια αποθετήρια.
• Διακοπείσες λήψεις ή εξωτερικοί διαχειριστές: Ο ενσωματωμένος διαχειριστής λήψεων στις εφαρμογές συχνά παρουσιάζει σφάλματα λόγω αργών ή ασταθών συνδέσεων. Η χρήση εργαλείων όπως το wget σάς επιτρέπει να κάνετε παύση/συνέχιση και λήψη αρχείων από 10 GB έως 50 GB με μεγαλύτερη αξιοπιστία.
• Πειραματικές εκδόσεις ή προσαρμοσμένες τροποποιήσεις: Μπορείτε επίσης να εξετάσετε το ενδεχόμενο εισαγωγής ενός μοντέλου GGUF που έχετε κατεβάσει χειροκίνητα στο LM Studio, εάν ένας δημιουργός μοντέλου έχει κυκλοφορήσει παραλλαγές με προσαρμοσμένες κβαντοποιήσεις.
• Όταν δεν έχετε σύνδεση στο διαδίκτυο: Εάν βρίσκεστε σε τοποθεσία χωρίς πρόσβαση στο διαδίκτυο, μπορείτε να μεταφέρετε το αρχείο GGUF χρησιμοποιώντας μια μονάδα USB ή τοπικό δίκτυο και να το ενσωματώσετε απευθείας στο LM Studio.

Πώς να εισαγάγετε ένα μοντέλο GGUF που έχετε κατεβάσει χειροκίνητα στο LM Studio.

Στη συνέχεια, εξηγούμε Οδηγίες βήμα προς βήμα για τον τρόπο εισαγωγής ενός μοντέλου GGUF που λήφθηκε χειροκίνητα στο LM StudioΑρχικά, θα δούμε πώς να το κάνουμε αυτό οργανώνοντας χειροκίνητα τα αρχεία στον εσωτερικό φάκελο μοντέλων του LM Studio. Στη συνέχεια, θα σας δείξουμε πώς να τα εισαγάγετε εκτελώντας μια εντολή στο τερματικό σας.

Οργανώστε τα αρχεία χειροκίνητα

Για να εισαγάγετε ένα μοντέλο GGUF που έχετε κατεβάσει χειροκίνητα στο LM Studio, πρέπει Τοποθετήστε το μέσα στον εσωτερικό φάκελο μοντέλων, τηρώντας τη δομή φακέλων που απαιτείται από την εφαρμογή.Για να το κάνετε αυτό, ακολουθήστε τα εξής βήματα:

1. Ανοίξτε τον φάκελο τοπικών μοντέλων: Ανοίξτε το LM Studio, μεταβείτε στην καρτέλα Τα μοντέλα μου (το εικονίδιο φακέλου στην αριστερή πλαϊνή μπάρα) και κάντε κλικ στην επιλογή Άνοιγμα καταλόγου μοντέλων. Εάν προτιμάτε να κάνετε χειροκίνητη περιήγηση από την εξερεύνηση αρχείων:
   • Windows: C:\Users\YOUR_USER\.cache\lm-studio\models
   • macOS/Linux: ~/.cache/lm-studio/models
2. Δημιουργήστε τη δομή υποφακέλων: Το LM Studio απαιτεί τα μοντέλα να βρίσκονται μέσα σε έναν φάκελο συγγραφέα και έναν υποφάκελο μοντέλου. Δημιουργήστε τους φακέλους ακολουθώντας αυτήν τη διαδρομή: models / [Author_Name] / [Model_Name]. Ακολουθεί ένα παράδειγμα: models/QuantFactory/Llama-3-8B-Instruct-GGUF
3. Τοποθετήστε το αρχείο .gguf: Μετακινήστε ή αντιγράψτε το αρχείο .gguf απευθείας στον υποφάκελο του μοντέλου που μόλις δημιουργήσατε.
4. Επαναφορτώστε και επιλέξτε το μοντέλο: Επιστρέψτε στο LM Studio. Στην καρτέλα Τα μοντέλα μου ή στο αναπτυσσόμενο μενού επιλογής του κορυφαίου μοντέλου, κάντε κλικ στο εικονίδιο Επαναφόρτωση/Ανανέωση (ή επανεκκινήστε την εφαρμογή εάν δεν εντοπιστεί αμέσως). Το μοντέλο θα εμφανιστεί έτοιμο για φόρτωση στη μνήμη.

Μερικές φορές, Το LM Studio δεν μπορεί να φορτώσει ένα μοντέλοΣε προηγούμενο άρθρο αναλύσαμε την Συνηθισμένα λάθη και λύσεις Βήμα προς βήμα, το οποίο μπορείτε να εφαρμόσετε. Μπορείτε να ρίξετε μια ματιά για να μάθετε τι συμβαίνει εάν δεν μπορείτε να φορτώσετε ένα μοντέλο και πώς να το διορθώσετε.

Χρήση εισαγωγής lms

Ένας άλλος τρόπος για να εισαγάγετε ένα μοντέλο GGUF που έχετε κατεβάσει χειροκίνητα στο LM Studio είναι: εκτελώντας την ακόλουθη εντολή στο τερματικό σας:

• εισαγωγή LMS και ακολουθήστε τις διαδραστικές οδηγίες για να ολοκληρώσετε τη διαδικασία εισαγωγής.
• Αυτή είναι η αναμενόμενη δομή καταλόγου μοντέλου του LM Studio:
  • ~/.lmstudio/models/
    εκδότης/
    μοντέλο/
    αρχείο-μοντέλου.gguf
• Για παράδειγμα, αν έχετε ένα μοντέλο που ονομάζεται ocelot-v1 που δημοσιεύτηκε από την infra-ai, η δομή θα μοιάζει με αυτό:
  • ~/.lmstudio/models/
    υπο-ai/
    ocelot-v1/
    ocelot-v1-instruct-q4_0.gguf

Χρήση του εγγενούς CLI του LM Studio

Το LM Studio περιλαμβάνει ένα εργαλείο γραμμής εντολών για διαχείριση και εκτέλεση μοντέλων χωρίς άνοιγμα της γραφικής διεπαφήςΓια να εισαγάγετε ένα μοντέλο GGUF που έχετε λάβει χειροκίνητα στο LM Studio, μπορείτε επίσης να κάνετε τα εξής:

1. Εγκαταστήστε την εντολή lms: Ανοίξτε το LM Studio, μεταβείτε στην καρτέλα Developer / CLI στην πλαϊνή γραμμή και κάντε κλικ στο εργαλείο γραμμής εντολών Install 'lms' (ή εκτελέστε το lms Bootstrap στο τερματικό σας).
2. Φορτώστε το μοντέλο χρησιμοποιώντας το LMS: Μόλις το αρχείο .gguf βρεθεί στον φάκελο models, εκτελέστε την εντολή: lms load –gpu max.
3. Ξεκινήστε μια διαδραστική συζήτηση: Συνομιλία LMS.
4. Ξεκινήστε έναν τοπικό διακομιστή συμβατό με το OpenAI: Έναρξη διακομιστή lms.

Πλεονεκτήματα της εισαγωγής ενός μοντέλου GGUF που έχει ληφθεί χειροκίνητα στο LM Studio: Είναι δυνατό

Η εισαγωγή ενός μοντέλου GGUF που έχει ληφθεί χειροκίνητα στο LM Studio προσφέρει πολλά Βασικά πλεονεκτήματα όσον αφορά την απόδοση, την προσβασιμότητα και την προσαρμογήΑυτά είναι τα κύρια οφέλη:

• Ταχύτερες και πιο σταθερές λήψεις: Οι εξωτερικοί διαχειριστές λήψεων χειρίζονται αργές ή ασταθείς συνδέσεις καλύτερα από τον ενσωματωμένο client. Αυτό σας επιτρέπει να διακόψετε προσωρινά ή να συνεχίσετε μεγάλες, ογκώδεις λήψεις χωρίς να χάσετε την πρόοδο.
• Χρήση ιδιόκτητων ή ιδιωτικών μοντέλων: Εάν εκπαιδεύσετε τα δικά σας τοπικά μοντέλα, θα χρειαστεί να τα εισαγάγετε χειροκίνητα χρησιμοποιώντας μία από αυτές τις μεθόδους, εάν δεν φιλοξενούνται σε κανένα δημόσιο αποθετήριο.
• Συμβατότητα με περιβάλλοντα εκτός σύνδεσης: Σας επιτρέπει να μεταφέρετε μοντέλα σε μονάδες USB ή τοπικά δίκτυα για να εργαστείτε σε υπολογιστές υψηλής ασφάλειας ή σε υπολογιστές χωρίς πρόσβαση στο διαδίκτυο.
• Εξοικονόμηση χώρου στο δίσκο: Αποφεύγετε την αντιγραφή αρχείων εάν χρησιμοποιείτε ήδη τα ίδια αρχεία .gguf σε άλλα περιβάλλοντα όπως το llama.cpp, το Ollama ή το AnythingLLM. Απλώς χρειάζεται να τα μετακινήσετε ή να τα συνδέσετε στον φάκελο μοντέλων του LM Studio.
• Μεγαλύτερος έλεγχος έκδοσης: Εξασφαλίζετε τη χρήση μιας ακριβούς αναθεώρησης του μοντέλου χωρίς τον κίνδυνο αλλαγής ή απροσδόκητης ενημέρωσής του στο αποθετήριο πηγαίου κώδικα.

Συμπερασματικά, η χειροκίνητη εισαγωγή ενός μοντέλου GGUF στο LM Studio σάς δίνει πλήρη έλεγχο του τοπικού σας περιβάλλοντος. Είτε το κάνετε αυτό οργανώνοντας τα αρχεία σε υποφακέλους είτε χρησιμοποιώντας το τερματικό, αυτή η διαδικασία σάς επιτρέπει να αξιοποιήσετε τις προσαρμοσμένες κβαντοποιήσεις, να εργαστείτε εκτός σύνδεσης και να διαχειριστείτε αποτελεσματικά τους πόρους σας. Εφαρμόζοντας τις ιδέες που συζητούνται σε αυτό το άρθρο, θα είστε σε θέση να Εξατομικεύστε την εμπειρία ανάπτυξής σας και ενισχύστε τα έργα τεχνητής νοημοσύνης σας.