Z uvozom ročno prenesenega modela GGUF v LM Studio lahko uporabite kateri koli LLM, ki ga prenesete s platform, kot je Hugging Face, ne da bi se morali zanašati na vgrajeni iskalnik. Uvozite ga lahko na dva načina: z ročnim organiziranjem datotek v lokalnem imeniku ali z izvajanjem ukazov v terminalu. Nato Oglejmo si korak za korakom, kako integrirati svoje modele po meri v LM Studio..
Zakaj uvoziti ročno prenesen model GGUF v LM Studio

Uvoz ročno prenesenega modela GGUF v LM Studio vam bo pomagal kar najbolje izkoristiti vašo strojno opremo na popolnoma zaseben način. V katerih primerih je priporočljivo uvoziti modele, prenesene zunaj orodja? Priporočljivo je, da to storite. če notranje iskanje v aplikaciji ni ustrezno ali ne ustreza vašemu dejanskemu delovnemu procesuTo so glavni razlogi za uporabo:
- Modeli, ki niso navedeni v Objemajoči obraz ali zasebno: Če učite svoj model ali če je razvijalec z vami delil zasebno datoteko .gguf, ki ni objavljena v javnih repozitorijih.
- Prekinjeni prenosi ali zunanji upravljalniki: Vgrajeni upravitelj prenosov v aplikacijah pogosto odpove zaradi počasnih ali nestabilnih povezav. Z orodji, kot je wget, lahko začasno ustavite/nadaljevate in prenesete datoteke od 10 GB do 50 GB z večjo zanesljivostjo.
- Eksperimentalne različice ali prilagojene modifikacije: Prav tako lahko razmislite o uvozu ročno prenesenega modela GGUF v LM Studio, če je ustvarjalec modela izdal različice s kvantizacijami po meri.
- Ko nimate internetne povezave: Če ste na lokaciji brez dostopa do interneta, lahko datoteko GGUF prenesete s pogonom USB ali lokalnim omrežjem in jo integrirate neposredno v LM Studio.
Kako uvoziti ročno prenesen model GGUF v LM Studio.

Nato razložimo Navodila po korakih za uvoz ročno prenesenega modela GGUF v LM StudioNajprej si bomo ogledali, kako to storiti z ročnim organiziranjem datotek v notranji mapi modelov programa LM Studio. Nato vam bomo pokazali, kako jih uvoziti z zagonom ukaza v terminalu.
Ročno organizirajte datoteke
Če želite uvoziti ročno prenesen model GGUF v LM Studio, morate Postavite ga v mapo internih modelov, pri čemer upoštevajte strukturo map, ki jo zahteva aplikacija.Če želite to narediti, sledite tem korakom:
- Odprite lokalno mapo z modeli: Odprite LM Studio, pojdite na zavihek Moji modeli (ikona mape v levi stranski vrstici) in kliknite Odpri imenik modelov. Če želite brskati ročno iz raziskovalca datotek:
- Windows: C:\Uporabniki\VAŠ_UPORABNIK\.cache\lm-studio\models
- macOS/Linux: ~/.cache/lm-studio/models
- Ustvarite strukturo podmap: LM Studio zahteva, da so modeli v mapi avtorja in podmapi modela. Ustvarite mape po tej poti: models / [Author_Name] / [Model_Name]. Tukaj je primer: models/QuantFactory/Llama-3-8B-Instruct-GGUF
- Postavite datoteko .gguf: Datoteko .gguf premaknite ali kopirajte neposredno v podmapo modela, ki ste ga pravkar ustvarili.
- Ponovno naložite in izberite model: Vrnite se v LM Studio. Na zavihku Moji modeli ali v spustnem meniju za izbiro zgornjega modela kliknite ikono Ponovno naloži/Osveži (ali znova zaženite aplikacijo, če je ni takoj zaznana). Model bo videti pripravljen za nalaganje v pomnilnik.
Včasih, LM Studio ne more naložiti modelaV prejšnjem članku smo analizirali Pogoste napake in rešitve Korak za korakom, ki ga lahko uporabite. Ogledate si lahko, kaj se zgodi, če modela ne morete naložiti, in kako to odpraviti.
Uporaba uvoza iz sistema LMS
Drug način za uvoz ročno prenesenega modela GGUF v LM Studio je z zagonom naslednjega ukaza v terminalu:
- uvoz sistema LMS in sledite interaktivnim navodilom za dokončanje postopka uvoza.
- To je pričakovana struktura imenikov modela LM Studia:
- ~/.lmstudio/modeli/
založnik/
model/
model-file.gguf
- ~/.lmstudio/modeli/
- Na primer, če imate model z imenom ocelot-v1, ki ga je objavila spletna stran infra-ai, bi bila struktura videti takole:
- ~/.lmstudio/modeli/
infra-umetna inteligenca/
ocelot-v1/
ocelot-v1-instruct-q4_0.gguf
- ~/.lmstudio/modeli/
Uporaba izvornega CLI programa LM Studio
LM Studio vključuje orodje ukazne vrstice za upravljajte in zaganjajte modele brez odpiranja grafičnega vmesnikaČe želite ročno prenesen model GGUF uvoziti v LM Studio, lahko storite tudi naslednje:
- Namestite ukaz lms: Odprite LM Studio, pojdite na zavihek Razvijalec / CLI v stranski vrstici in kliknite na Namestite orodje ukazne vrstice 'lms' (ali zaženite lms Bootstrap v terminalu).
- Naložite model s pomočjo LMS: Ko je datoteka .gguf v mapi models, zaženite: lms load –gpu max.
- Začnite interaktivni pogovor: Klepet LMS-a.
- Zaženite lokalni strežnik, združljiv z OpenAI: zagon strežnika LMS.
Prednosti uvoza ročno prenesenega modela GGUF v LM Studio: Možno je

Uvoz ročno prenesenega modela GGUF v LM Studio ponuja več možnosti Ključne prednosti, ko govorimo o zmogljivosti, dostopnosti in prilagajanjuTo so glavne prednosti:
- Hitrejši in stabilnejši prenosi: Zunanji upravitelji prenosov bolje obvladujejo počasne ali nestabilne povezave kot vgrajeni odjemalec. To vam omogoča, da začasno ustavite ali nadaljujete velike, obsežne prenose, ne da bi pri tem izgubili napredek.
- Uporaba lastnih ali zasebnih modelov: Če učite lastne lokalne modele, jih boste morali ročno uvoziti z eno od teh metod, če niso shranjeni v nobenem javnem repozitoriju.
- Združljivost z okolji brez povezave: Omogoča vam prenos modelov na USB-pogone ali lokalna omrežja za delo na visoko varnostnih računalnikih ali tistih brez dostopa do interneta.
- Prihranek prostora na disku: Podvajanju datotek se izognete, če te iste datoteke .gguf že uporabljate v drugih okoljih, kot so llama.cpp, Ollama ali AnythingLLM. Le premakniti ali povezati jih morate z mapo modelov LM Studio.
- Večji nadzor nad različicami: Zagotavljate uporabo natančne revizije modela brez tveganja, da bi se ta spremenila ali nepričakovano posodobila v izvornem repozitoriju.
Skratka, ročni uvoz modela GGUF v LM Studio vam omogoča popoln nadzor nad vašim lokalnim okoljem. Ne glede na to, ali to storite z organiziranjem datotek v podmape ali z uporabo terminala, vam ta postopek omogoča, da izkoristite kvantizacije po meri, delate brez povezave in učinkovito upravljate svoje vire. Z uporabo idej, obravnavanih v tem članku, boste lahko Prilagodite svojo razvojno izkušnjo in izboljšajte svoje projekte umetne inteligence.
Kazalo
Že od malih nog me je fasciniralo vse, kar je povezano z znanostjo in tehnologijo, še posebej tisti napredek, ki nam olajša in popestri življenje. Rad spremljam najnovejše novice in trende ter delim svoje izkušnje, mnenja in nasvete o napravah in pripomočkih, ki jih uporabljam. To me je pred dobrimi petimi leti pripeljalo do tega, da sem postal spletni pisec, ki se osredotoča predvsem na naprave Android in operacijske sisteme Windows. Naučil sem se razlagati kompleksne koncepte s preprostimi izrazi, da jih moji bralci zlahka razumejo.