Sådan importerer du en manuelt downloadet GGUF-model til LM Studio

Hvis du importerer en manuelt downloadet GGUF-model til LM Studio, kan du bruge enhver LLM, du downloader fra platforme som Hugging Face, uden at være afhængig af den indbyggede søgemaskine. Du kan importere den på to måder: ved manuelt at organisere filerne i din lokale mappe eller ved at køre kommandoer i terminalen. Dernæst, Lad os se trin for trin, hvordan du integrerer dine brugerdefinerede modeller i LM Studio..

Hvorfor importere en manuelt downloadet GGUF-model til LM Studio

Import af en manuelt downloadet GGUF-model til LM Studio vil hjælpe dig med at få mest muligt ud af din hardware på en helt privat måde. I hvilke situationer anbefales det at importere modeller, der er downloadet uden for værktøjet? Det er tilrådeligt at gøre det. hvis appens interne søgning ikke lever op til dine forventninger eller ikke passer til din faktiske arbejdsgangDette er de vigtigste årsager til brug:

• Modeller, der ikke er angivet i Krammende ansigt eller privat: Hvis du træner din egen model, eller hvis en udvikler har delt en privat .gguf-fil med dig, der ikke er offentliggjort i offentlige arkiver.
• Afbrudte downloads eller eksterne administratorer: Den indbyggede downloadhåndtering i apps fejler ofte ved langsomme eller ustabile forbindelser. Ved at bruge værktøjer som wget kan du sætte filer på pause/genoptage dem og downloade dem fra 10 GB op til 50 GB med større pålidelighed.
• Eksperimentelle versioner eller brugerdefinerede modifikationer: Du kan også overveje at importere en manuelt downloadet GGUF-model til LM Studio, hvis en modeludvikler har udgivet varianter med brugerdefinerede kvantiseringer.
• Når du ikke har en internetforbindelse: Hvis du befinder dig et sted uden internetadgang, kan du overføre GGUF-filen ved hjælp af et USB-drev eller et lokalt netværk og integrere den direkte i LM Studio.

Sådan importerer du en manuelt downloadet GGUF-model til LM Studio.

Dernæst forklarer vi Trinvise instruktioner om, hvordan du importerer en manuelt downloadet GGUF-model til LM StudioFørst vil vi se på, hvordan du gør dette ved manuelt at organisere filerne i LM Studios interne models-mappe. Derefter viser vi dig, hvordan du importerer det ved at køre en kommando i din terminal.

Organiser filerne manuelt

For at importere en manuelt downloadet GGUF-model til LM Studio skal du Placer den i mappen med interne modeller, og respekter den mappestruktur, der kræves af applikationen.Følg disse trin for at gøre dette:

1. Åbn mappen med lokale modeller: Åbn LM Studio, gå til fanen Mine modeller (mappeikonet i venstre sidepanel), og klik på Åbn modelmappe. Hvis du foretrækker at søge manuelt fra din stifinder:
   • Windows: C:\Brugere\DIN_BRUGER\.cache\lm-studio\models
   • macOS/Linux: ~/.cache/lm-studio/models
2. Opret undermappestrukturen: LM Studio kræver, at modeller er i en forfattermappe og en modelundermappe. Opret mapperne ved at følge denne sti: models / [Forfatternavn] / [Modelnavn]. Her er et eksempel: models/QuantFactory/Llama-3-8B-Instruct-GGUF
3. Placer .gguf-filen: Flyt eller kopier din .gguf-fil direkte til undermappen for den model, du lige har oprettet.
4. Genindlæs og vælg modellen: Gå tilbage til LM Studio. Klik på ikonet Genindlæs/Opdater på fanen Mine Modeller eller i den øverste rullemenu til modelvalg (eller genstart programmet, hvis det ikke registreres med det samme). Modellen vil se ud som klar til at blive indlæst i hukommelsen.

Undertiden, LM Studio kan ikke indlæse en modelI en tidligere artikel analyserede vi Almindelige fejl og løsninger Trin for trin, som du kan anvende. Du kan se på det for at finde ud af, hvad der sker, hvis du ikke kan indlæse en model, og hvordan du retter det.

Brug LMS-import

En anden måde at importere en manuelt downloadet GGUF-model til LM Studio er køre følgende kommando i din terminal:

• LMS-import og følg de interaktive instruktioner for at fuldføre importprocessen.
• Dette er den forventede modelmappestruktur for LM Studio:
  • ~/.lmstudio/models/
    forlægger/
    model/
    model-fil.gguf
• Hvis du for eksempel har en model kaldet ocelot-v1 udgivet af infra-ai, ville strukturen se sådan ud:
  • ~/.lmstudio/models/
    infrarød/
    ocelot-v1/
    ocelot-v1-instruct-q4_0.gguf

Brug af LM Studios native CLI

LM Studio indeholder et kommandolinjeværktøj til administrere og køre modeller uden at åbne den grafiske brugerfladeFor at importere en manuelt downloadet GGUF-model til LM Studio kan du også gøre følgende:

1. Installer lms-kommandoen: Åbn LM Studio, gå til fanen Udvikler / CLI i sidebjælken, og klik på Installer kommandolinjeværktøjet 'lms' (eller kør lms Bootstrap i din terminal).
2. Indlæs modellen ved hjælp af LMS: Når .gguf-filen er i models-mappen, skal du køre: lms load –gpu max.
3. Start en interaktiv samtale: LMS-chat.
4. Start en lokal server kompatibel med OpenAI: Start af lms-serveren.

Fordele ved at importere en manuelt downloadet GGUF-model til LM Studio: Det er muligt

Import af en manuelt downloadet GGUF-model til LM Studio tilbyder flere muligheder Vigtige fordele, når vi taler om ydeevne, tilgængelighed og tilpasningDette er de vigtigste fordele:

• Hurtigere og mere stabile downloads: Eksterne downloadadministratorer håndterer langsomme eller ustabile forbindelser bedre end den indbyggede klient. Dette giver dig mulighed for at sætte store, omfangsrige downloads på pause eller genoptage dem uden at miste fremskridt.
• Brug af egne eller private modeller: Hvis du træner dine egne lokale modeller, skal du importere dem manuelt ved hjælp af en af ​​disse metoder, hvis de ikke hostes i et offentligt arkiv.
• Kompatibilitet med offline-miljøer: Det giver dig mulighed for at overføre modeller til USB-drev eller lokale netværk, så de kan arbejde på computere med høj sikkerhed eller computere uden internetadgang.
• Diskpladsbesparelse: Du undgår at duplikere filer, hvis du allerede bruger de samme .gguf-filer i andre miljøer som llama.cpp, Ollama eller AnythingLLM. Du skal blot flytte eller linke dem til LM Studio-modelmappen.
• Større versionskontrol: Du sikrer brugen af ​​en nøjagtig revision af modellen uden risiko for, at den ændres eller uventet opdateres i kildearkivet.

Afslutningsvis giver manuel import af en GGUF-model til LM Studio dig fuld kontrol over dit lokale miljø. Uanset om du gør dette ved at organisere filerne i undermapper eller ved hjælp af terminalen, giver denne procedure dig mulighed for at drage fordel af brugerdefinerede kvantiseringer, arbejde offline og administrere dine ressourcer effektivt. Ved at anvende de idéer, der diskuteres i denne artikel, vil du være i stand til at Tilpas din udviklingsoplevelse og styrk dine AI-projekter.