Hur man importerar en manuellt nedladdad GGUF-modell till LM Studio

Genom att importera en manuellt nedladdad GGUF-modell till LM Studio kan du använda vilken LLM som helst som du laddar ner från plattformar som Hugging Face utan att förlita dig på den inbyggda sökmotorn. Du kan importera den på två sätt: genom att manuellt organisera filerna i din lokala katalog eller genom att köra kommandon i terminalen. Nästa steg: Låt oss steg för steg se hur du integrerar dina anpassade modeller i LM Studio..

Varför importera en manuellt nedladdad GGUF-modell till LM Studio

Att importera en manuellt nedladdad GGUF-modell till LM Studio hjälper dig att få ut det mesta av din hårdvara på ett helt privat sätt. I vilka situationer rekommenderas det att importera modeller som laddats ner utanför verktyget? Det är lämpligt att göra det. om appens interna sökning inte räcker till eller inte passar ditt faktiska arbetsflödeDessa är de främsta anledningarna till användning:

• Modeller som inte listas i Kramande ansikte eller privat: Om du tränar din egen modell eller om en utvecklare har delat en privat .gguf-fil med dig som inte är publicerad i offentliga databaser.
• Avbrutna nedladdningar eller externa hanterare: Den inbyggda nedladdningshanteraren i appar misslyckas ofta med långsamma eller instabila anslutningar. Med hjälp av verktyg som wget kan du pausa/återuppta och ladda ner filer från 10 GB upp till 50 GB med större tillförlitlighet.
• Experimentella versioner eller anpassade modifieringar: Du kan också överväga att importera en manuellt nedladdad GGUF-modell till LM Studio om en modellskapare släppte varianter med anpassade kvantiseringar.
• När du inte har en internetanslutning: Om du befinner dig på en plats utan internetåtkomst kan du överföra GGUF-filen med hjälp av ett USB-minne eller ett lokalt nätverk och integrera den direkt i LM Studio.

Hur man importerar en manuellt nedladdad GGUF-modell till LM Studio.

Därefter förklarar vi Steg-för-steg-instruktioner om hur man importerar en manuellt nedladdad GGUF-modell till LM StudioFörst ska vi se hur man gör detta genom att manuellt organisera filerna i LM Studios interna modellmapp. Sedan visar vi hur du importerar dem genom att köra ett kommando i din terminal.

Organisera filerna manuellt

För att importera en manuellt nedladdad GGUF-modell till LM Studio måste du Placera den i mappen för interna modeller och respektera den mappstruktur som krävs av programmet.För att göra detta, följ dessa steg:

1. Öppna mappen för lokala modeller: Öppna LM Studio, gå till fliken Mina modeller (mappikonen i vänster sidofält) och klicka på Öppna modellkatalogen. Om du föredrar att bläddra manuellt från din filhanterare:
   • Windows: C:\Användare\DIN_ANVÄNDARE\.cache\lm-studio\models
   • macOS/Linux: ~/.cache/lm-studio/models
2. Skapa undermappstrukturen: LM Studio kräver att modeller finns i en författarmapp och en undermapp för modeller. Skapa mapparna genom att följa denna sökväg: models / [Författarnamn] / [Modellnamn]. Här är ett exempel: models/QuantFactory/Llama-3-8B-Instruct-GGUF
3. Placera .gguf-filen: Flytta eller kopiera din .gguf-fil direkt till undermappen för modellen du just skapade.
4. Ladda om och välj modellen: Återgå till LM Studio. På fliken Mina modeller eller i den översta rullgardinsmenyn för modellval klickar du på ikonen Ladda om/Uppdatera (eller starta om programmet om det inte upptäcks omedelbart). Modellen visas redo att laddas in i minnet.

Ibland, LM Studio kan inte ladda en modellI en tidigare artikel analyserade vi Vanliga misstag och lösningar Steg för steg, som du kan tillämpa. Du kan ta en titt för att ta reda på vad som händer om du inte kan ladda en modell och hur du åtgärdar det.

Använd LMS-import

Ett annat sätt att importera en manuellt nedladdad GGUF-modell till LM Studio är kör följande kommando i din terminal:

• LMS-import och följ de interaktiva instruktionerna för att slutföra importprocessen.
• Detta är den förväntade modellkatalogstrukturen för LM Studio:
  • ~/.lmstudio/modeller/
    utgivare/
    modell/
    modellfil.gguf
• Om du till exempel har en modell som heter ocelot-v1 publicerad av infra-ai, skulle strukturen se ut så här:
  • ~/.lmstudio/modeller/
    infraröd/
    ocelot-v1/
    ocelot-v1-instruktion-q4_0.gguf

Använda LM Studios inbyggda CLI

LM Studio innehåller ett kommandoradsverktyg för hantera och köra modeller utan att öppna det grafiska gränssnittetFör att importera en manuellt nedladdad GGUF-modell till LM Studio kan du också göra följande:

1. Installera lms-kommandot: Öppna LM Studio, gå till fliken Utvecklare / CLI i sidofältet och klicka på Installera kommandoradsverktyget 'lms' (eller kör lms Bootstrap i din terminal).
2. Ladda modellen med hjälp av LMS: När .gguf-filen finns i models-mappen, kör: lms load –gpu max.
3. Starta en interaktiv konversation: LMS-chatt.
4. Starta en lokal server kompatibel med OpenAI: start av lms-servern.

Fördelar med att importera en manuellt nedladdad GGUF-modell till LM Studio: Det är möjligt

Att importera en manuellt nedladdad GGUF-modell till LM Studio erbjuder flera möjligheter Viktiga fördelar när vi pratar om prestanda, tillgänglighet och anpassningDessa är de viktigaste fördelarna:

• Snabbare och stabilare nedladdningar: Externa nedladdningshanterare hanterar långsamma eller instabila anslutningar bättre än den inbyggda klienten. Detta gör att du kan pausa eller återuppta stora, skrymmande nedladdningar utan att förlora förloppet.
• Användning av egna eller privata modeller: Om du tränar dina egna lokala modeller måste du importera dem manuellt med någon av dessa metoder om de inte finns i något offentligt datalager.
• Kompatibilitet med offline-miljöer: Det låter dig överföra modeller till USB-enheter eller lokala nätverk för att arbeta på datorer med hög säkerhet, eller de utan internetåtkomst.
• Sparar diskutrymme: Du undviker att duplicera filer om du redan använder samma .gguf-filer i andra miljöer som llama.cpp, Ollama eller AnythingLLM. Du behöver bara flytta eller länka dem till LM Studio-modellmappen.
• Större versionskontroll: Du säkerställer användningen av en exakt revision av modellen utan risk för att den ändras eller oväntat uppdateras i källförrådet.

Sammanfattningsvis ger manuell import av en GGUF-modell till LM Studio dig fullständig kontroll över din lokala miljö. Oavsett om du gör detta genom att organisera filerna i undermappar eller använda terminalen, låter den här proceduren dig dra nytta av anpassade kvantiseringar, arbeta offline och hantera dina resurser effektivt. Genom att tillämpa idéerna som diskuteras i den här artikeln kommer du att kunna Anpassa din utvecklingsupplevelse och boosta dina AI-projekt.