Hogyan importálhatok egy manuálisan letöltött GGUF modellt az LM Studio-ba?

Egy manuálisan letöltött GGUF modell LM Studio-ba importálása lehetővé teszi, hogy bármilyen, olyan platformokról letöltött LLM-et használj, mint a Hugging Face, anélkül, hogy a beépített keresőmotorra kellene hagyatkoznod. Kétféleképpen importálhatod: a fájlok manuális rendszerezésével a helyi könyvtárban, vagy parancsok futtatásával a terminálban. Ezután, Nézzük meg lépésről lépésre, hogyan integrálhatod az egyéni modelljeidet az LM Studio-ba..

Miért importáljunk egy manuálisan letöltött GGUF modellt az LM Studio-ba?

Egy manuálisan letöltött GGUF modell LM Studio-ba importálása segít abban, hogy a legtöbbet hozd ki a hardveredből teljesen privát módon. Milyen helyzetekben ajánlott az eszközön kívülről letöltött modellek importálása? Célszerű ezt megtenni. ha az alkalmazás belső keresése nem megfelelő, vagy nem illeszkedik a tényleges munkafolyamathozEzek a főbb okok a használatra:

• Modellek, amelyek nem szerepelnek a listán Ölelő arc vagy privát: Ha a saját modelledet tanítod, vagy ha egy fejlesztő megosztott veled egy privát .gguf fájlt, amely nincs közzétéve nyilvános adattárakban.
• Megszakított letöltések vagy külső kezelők: Az alkalmazásokba épített letöltéskezelő gyakran meghibásodik lassú vagy instabil kapcsolat esetén. Az olyan eszközök, mint a wget, lehetővé teszik a fájlok szüneteltetését/folytatását és letöltését 10 GB-tól 50 GB-ig nagyobb megbízhatósággal.
• Kísérleti verziók vagy egyedi módosítások: Azt is megfontolhatod, hogy manuálisan letöltött GGUF modellt importálsz az LM Studio-ba, ha a modell készítője egyéni kvantálásokkal rendelkező változatokat adott ki.
• Amikor nincs internetkapcsolatod: Ha olyan helyen tartózkodik, ahol nincs internet-hozzáférés, átviheti a GGUF fájlt USB-meghajtó vagy helyi hálózat segítségével, és közvetlenül integrálhatja az LM Studio programba.

Hogyan importálhatok egy manuálisan letöltött GGUF modellt az LM Studio-ba.

Ezután elmagyarázzuk Lépésről lépésre útmutató a manuálisan letöltött GGUF modell LM Studio-ba történő importálásáhozElőször is megnézzük, hogyan lehet ezt manuálisan rendszerezni a fájlokat az LM Studio belső modellmappájában. Ezután megmutatjuk, hogyan importálható egy parancs futtatásával a terminálban.

A fájlok manuális rendszerezése

Egy manuálisan letöltött GGUF modell LM Studio-ba importálásához a következőket kell tennie: Helyezze el a belső modellek mappáján belül, tiszteletben tartva az alkalmazás által megkövetelt mappastruktúrát.Ehhez kövesse az alábbi lépéseket:

1. Nyissa meg a helyi modellek mappáját: Nyisd meg az LM Studio-t, lépj a Saját modellek fülre (a mappa ikon a bal oldalsávon), és kattints a Modellek könyvtárának megnyitása lehetőségre. Ha inkább manuálisan szeretnél böngészni a fájlkezelőben:
   • Windows: C:\Felhasználók\A_FELHASZNÁLÓD\.cache\lm-studio\models
   • macOS/Linux: ~/.cache/lm-studio/models
2. Hozza létre az almappák szerkezetét: Az LM Studio megköveteli, hogy a modellek egy szerzői mappában és egy modell almappában legyenek. Hozza létre a mappákat a következő elérési utat követve: models / [Author_Name] / [Model_Name]. Íme egy példa: models/QuantFactory/Llama-3-8B-Instruct-GGUF
3. Helyezze el a .gguf fájlt: Helyezze át vagy másolja át a .gguf fájlt közvetlenül az imént létrehozott modell almappájába.
4. Töltsd újra és válaszd ki a modellt: Térj vissza az LM Studio-ba. A Saját modellek lapon vagy a felső modellválasztó legördülő menüben kattints az Újratöltés/Frissítés ikonra (vagy indítsd újra az alkalmazást, ha a modell nem észlelhető azonnal). A modell készen áll a memóriába való betöltésre.

Néha, Az LM Studio nem tud betölteni egy modelltEgy korábbi cikkünkben elemeztük a Gyakori hibák és megoldások Lépésről lépésre, amit alkalmazhatsz. Megnézheted, mi történik, ha nem tudsz betölteni egy modellt, és hogyan javíthatod ki.

LMS importálás használata

Egy másik módja a manuálisan letöltött GGUF modell LM Studio-ba importálásának: a következő parancs futtatása a terminálban:

• lms importálás és kövesse az interaktív utasításokat az importálási folyamat befejezéséhez.
• Ez az LM Studio várható modellkönyvtár-struktúrája:
  • ~/.lmstudio/modellek/
    kiadó/
    modell/
    modellfájl.gguf
• Például, ha van egy infra-ai által közzétett ocelot-v1 nevű modelled, a struktúra így nézne ki:
  • ~/.lmstudio/modellek/
    infra-műanyag/
    ocelot-v1/
    ocelot-v1-instruct-q4_0.gguf

Az LM Studio natív parancssori felületének használata

Az LM Studio tartalmaz egy parancssori eszközt a következőkhöz: modellek kezelése és futtatása a grafikus felület megnyitása nélkülEgy manuálisan letöltött GGUF modell LM Studio-ba importálásához a következőket is teheti:

1. Telepítsd az lms parancsot: Nyisd meg az LM Studio-t, menj a Fejlesztő / CLI fülre az oldalsávon, és kattints az 'lms' parancssori eszköz telepítése lehetőségre (vagy futtasd az lms Bootstrap-et a terminálban).
2. Modell betöltése LMS segítségével: Miután a .gguf fájl a models mappában van, futtassa a következő parancsot: lms load –gpu max.
3. Interaktív beszélgetés indítása: LMS csevegés.
4. Indítson el egy OpenAI-val kompatibilis helyi szervert: lms szerver indítása.

A manuálisan letöltött GGUF modell LM Studio-ba importálásának előnyei: Lehetséges

Egy manuálisan letöltött GGUF modell LM Studio-ba importálása számos lehetőséget kínál Főbb előnyök a teljesítmény, az akadálymentesítés és a testreszabhatóság tekintetébenEzek a fő előnyök:

• Gyorsabb és stabilabb letöltések: A külső letöltéskezelők jobban kezelik a lassú vagy instabil kapcsolatokat, mint a beépített kliens. Ez lehetővé teszi a nagyméretű, terjedelmes letöltések szüneteltetését vagy folytatását a folyamat vesztesége nélkül.
• Saját vagy magánmodellek használata: Ha saját helyi modelleket tanítasz be, manuálisan kell importálnod őket az alábbi módszerek egyikével, ha azok nem találhatók meg nyilvános adattárban.
• Kompatibilitás offline környezetekkel: Lehetővé teszi modellek USB-meghajtókra vagy helyi hálózatokra átvitelét, hogy biztonságos számítógépeken vagy internet-hozzáféréssel nem rendelkező számítógépeken is dolgozhassanak.
• Lemezterület megtakarítás: Elkerülheted a fájlok duplikálását, ha már használod ezeket a .gguf fájlokat más környezetekben, például a llama.cpp, az Ollama vagy az AnythingLLM mappában. Csak át kell helyezned vagy össze kell kapcsolnod őket az LM Studio modellek mappájával.
• Fokozott verziókövetés: Biztosítja a modell pontos revíziójának használatát anélkül, hogy fennállna a kockázata annak, hogy az megváltozik vagy váratlanul frissül a forrásadattárban.

Összefoglalva, egy GGUF modell manuális importálása az LM Studio-ba teljes kontrollt biztosít a helyi környezet felett. Akár a fájlok almappákba rendezésével, akár a terminál használatával teszi ezt, ez az eljárás lehetővé teszi az egyéni kvantálások kihasználását, az offline munkát és az erőforrások hatékony kezelését. A cikkben tárgyalt ötletek alkalmazásával képes leszel a következőkre: Személyre szabhatod fejlesztési élményedet és fellendítheted AI-projektjeidet.