כיצד לייבא מודל GGUF שהורד ידנית לתוך LM Studio

ייבוא ​​מודל GGUF שהורדת ידנית לתוך LM Studio מאפשר לך להשתמש בכל LLM שאתה מוריד מפלטפורמות כמו Hugging Face מבלי להסתמך על מנוע החיפוש המובנה. ניתן לייבא אותו בשתי דרכים: על ידי ארגון ידני של הקבצים בספרייה המקומית שלך או על ידי הפעלת פקודות בטרמינל. לאחר מכן, בואו נראה שלב אחר שלב כיצד לשלב את המודלים המותאמים אישית שלכם ב-LM Studio..

מדוע לייבא מודל GGUF שהורד ידנית לתוך LM Studio

ייבוא ​​מודל GGUF שהורד ידנית לתוך LM Studio יעזור לכם להפיק את המרב מהחומרה שלכם בצורה פרטית לחלוטין. באילו מצבים מומלץ לייבא מודלים שהורדו מחוץ לכלי? מומלץ לעשות זאת. אם החיפוש הפנימי של האפליקציה אינו תואם את תוצאותיו או אינו מתאים לזרימת העבודה בפועל שלךאלו הן הסיבות העיקריות לשימוש:

• דגמים שלא מופיעים ב פנים מחבקות או פרטי: אם אתם מאמנים מודל משלכם או אם מפתח שיתף אתכם קובץ .gguf פרטי שאינו מתפרסם במאגרים ציבוריים.
• הורדות שהופרעו או מנהלים חיצוניים: מנהל ההורדות המובנה באפליקציות נכשל לעיתים קרובות עקב חיבורים איטיים או לא יציבים. שימוש בכלים כמו wget מאפשר לך להשהות/לחדש ולהוריד קבצים מ-10 ג'יגה-בייט עד 50 ג'יגה-בייט באמינות רבה יותר.
• גרסאות ניסיוניות או שינויים מותאמים אישית: ניתן גם לשקול לייבא מודל GGUF שהורד ידנית לתוך LM Studio אם יוצר מודלים הוציא גרסאות עם כימותים מותאמים אישית.
• כאשר אין לך חיבור לאינטרנט: אם אתם נמצאים במקום ללא גישה לאינטרנט, תוכלו להעביר את קובץ ה-GGUF באמצעות כונן USB או רשת מקומית ולשלב אותו ישירות ב-LM Studio.

כיצד לייבא מודל GGUF שהורד ידנית לתוך LM Studio.

לאחר מכן, אנו מסבירים הוראות שלב אחר שלב כיצד לייבא מודל GGUF שהורד ידנית לתוך LM Studioראשית, נראה כיצד לעשות זאת על ידי ארגון ידני של הקבצים בתוך תיקיית המודלים הפנימית של LM Studio. לאחר מכן, נראה לכם כיצד לייבא אותם על ידי הפעלת פקודה בטרמינל שלכם.

ארגן את הקבצים באופן ידני

כדי לייבא מודל GGUF שהורד ידנית לתוך LM Studio, עליך מקם אותו בתוך תיקיית המודלים הפנימיים, תוך התחשבות במבנה התיקיות הנדרש על ידי היישום.לשם כך, בצע את השלבים הבאים:

1. פתח את תיקיית המודלים המקומית: פתחו את LM Studio, גשו ללשונית המודלים שלי (סמל התיקייה בסרגל הצד השמאלי) ולחצו על פתח את ספריית המודלים. אם אתם מעדיפים לגלוש ידנית מסייר הקבצים:
   • חלונות: C:\משתמשים\המשתמש_שלך\.cache\lm-studio\models
   • macOS/לינוקס: ~/.cache/lm-studio/models
2. צור את מבנה תיקיות המשנה: LM Studio דורש שמודלים יהיו בתוך תיקיית מחבר ותת-תיקיית מודל. צרו את התיקיות לפי הנתיב הזה: models / [Author_Name] / [Model_Name]. הנה דוגמה: models/QuantFactory/Llama-3-8B-Instruct-GGUF
3. מקם את קובץ ה-.gguf: העבירו או העתיקו את קובץ ה-.gguf שלכם ישירות לתיקיית המשנה של המודל שיצרתם זה עתה.
4. טען מחדש ובחר את המודל: חזור ל-LM Studio. בכרטיסייה "המודלים שלי" או בתפריט הנפתח של בחירת המודל העליון, לחץ על סמל "טעינה מחדש/רענון" (או הפעל מחדש את היישום אם הוא לא מזוהה באופן מיידי). המודל יופיע מוכן לטעינה לזיכרון.

לִפְעָמִים, LM Studio לא מצליח לטעון מודלבמאמר קודם ניתחנו את טעויות נפוצות ופתרונות שלב אחר שלב, שתוכלו ליישם. תוכלו לבדוק מה קורה אם אינכם מצליחים לטעון מודל וכיצד לתקן זאת.

השתמש בייבוא ​​LMS

דרך נוספת לייבא מודל GGUF שהורד ידנית לתוך LM Studio היא הפעלת הפקודה הבאה בטרמינל שלך:

• ייבוא ​​LMS ופעל לפי ההוראות האינטראקטיביות כדי להשלים את תהליך הייבוא.
• זהו מבנה הספריות הצפוי של מודל LM Studio:
  • ~/.lmstudio/models/
    מוֹצִיא לָאוֹר/
    דֶגֶם/
    קובץ-model.gguf
• לדוגמה, אם יש לכם מודל בשם ocelot-v1 שפורסם על ידי infra-ai, המבנה ייראה כך:
  • ~/.lmstudio/models/
    אינפרא-איי/
    אוצלוט-גרסה 1/
    ocelot-v1-instruct-q4_0.gguf

שימוש בממשק שורת הפקודה המקורי (CLI) של LM Studio

LM Studio כולל כלי שורת פקודה עבור ניהול והפעלת מודלים מבלי לפתוח את הממשק הגרפיכדי לייבא מודל GGUF שהורד ידנית לתוך LM Studio, ניתן גם לבצע את הפעולות הבאות:

1. התקן את הפקודה lms: פתחו את LM Studio, גשו ללשונית Developer / CLI בסרגל הצד ולחצו על התקן את כלי שורת הפקודה 'lms' (או הפעילו את lms Bootstrap בטרמינל שלכם).
2. טען את המודל באמצעות LMS: לאחר שקובץ ה-.gguf נמצא בתיקיית models, הפעילו את הפקודה: lms load –gpu max.
3. התחל שיחה אינטראקטיבית: צ'אט של LMS.
4. הפעל שרת מקומי התואם ל-OpenAI: הפעלת שרת LMS.

יתרונות של ייבוא ​​מודל GGUF שהורד ידנית לתוך LM Studio: ניתן

ייבוא ​​מודל GGUF שהורד ידנית לתוך LM Studio מציע מספר אפשרויות יתרונות מרכזיים כשמדברים על ביצועים, נגישות והתאמה אישיתאלו היתרונות העיקריים:

• הורדות מהירות ויציבות יותר: מנהלי הורדות חיצוניים מטפלים בחיבורים איטיים או לא יציבים טוב יותר מהלקוח המובנה. זה מאפשר לך להשהות או לחדש הורדות גדולות ומגושמות מבלי לאבד התקדמות.
• שימוש במודלים פרטיים או אישיים: אם אתם מאמנים מודלים מקומיים משלכם, תצטרכו לייבא אותם ידנית באמצעות אחת מהשיטות הבאות אם הם אינם מאוחסנים במאגר ציבורי כלשהו.
• תאימות עם סביבות לא מקוונות: זה מאפשר לך להעביר מודלים לכונני USB או לרשתות מקומיות כדי לעבוד על מחשבים בעלי אבטחה גבוהה, או כאלה שאין להם גישה לאינטרנט.
• חיסכון בשטח דיסק: אתם נמנעים משכפול קבצים אם אתם כבר משתמשים באותם קבצי .gguf בסביבות אחרות כמו llama.cpp, Ollama או AnythingLLM. אתם רק צריכים להעביר או לקשר אותם לתיקיית המודלים של LM Studio.
• שליטה רבה יותר בגרסאות: אתם מבטיחים שימוש בגרסה מדויקת של המודל ללא סיכון שישתנה או יעודכן באופן בלתי צפוי במאגר המקור.

לסיכום, ייבוא ​​ידני של מודל GGUF לתוך LM Studio מעניק לכם שליטה מלאה על הסביבה המקומית שלכם. בין אם אתם עושים זאת על ידי ארגון הקבצים בתת-תיקיות או באמצעות הטרמינל, הליך זה מאפשר לכם לנצל כימות מותאמות אישית, לעבוד במצב לא מקוון ולנהל את המשאבים שלכם ביעילות. על ידי יישום הרעיונות שנדונו במאמר זה, תוכלו... התאם אישית את חוויית הפיתוח שלך ושפר את פרויקטי הבינה המלאכותית שלך.