수동으로 다운로드한 GGUF 모델을 LM Studio로 가져오는 방법

LM Studio에 수동으로 다운로드한 GGUF 모델을 가져오면 내장 검색 엔진에 의존하지 않고 Hugging Face와 같은 플랫폼에서 다운로드한 모든 LLM을 사용할 수 있습니다. 가져오는 방법은 두 가지입니다. 로컬 디렉터리에 파일을 수동으로 정리하거나 터미널에서 명령어를 실행하는 것입니다. 다음으로, LM Studio에 사용자 지정 모델을 통합하는 방법을 단계별로 살펴보겠습니다..

수동으로 다운로드한 GGUF 모델을 LM Studio로 가져오는 이유는 무엇입니까?

LM Studio에 수동으로 다운로드한 GGUF 모델을 가져오면 완전히 비공개적인 방식으로 하드웨어 성능을 최대한 활용할 수 있습니다. 도구 외부에서 다운로드한 모델을 가져오는 것이 권장되는 상황은 어떤 경우인가요? 그렇게 하는 것이 좋습니다. 앱의 내부 검색 기능이 부족하거나 실제 작업 흐름에 맞지 않는 경우주요 사용 이유는 다음과 같습니다.

• 목록에 없는 모델 껴안는 얼굴 또는 비공개: 직접 모델을 학습시키거나 개발자가 공개 저장소에 게시되지 않은 비공개 .gguf 파일을 공유한 경우입니다.
• 다운로드 중단 또는 외부 관리자: 앱에 내장된 다운로드 관리자는 연결 속도가 느리거나 불안정할 경우 제대로 작동하지 않는 경우가 많습니다. wget과 같은 도구를 사용하면 10GB에서 최대 50GB에 이르는 파일을 더욱 안정적으로 다운로드하고 일시 중지/재개할 수 있습니다.
• 실험 버전 또는 사용자 지정 수정 사항: 모델 제작자가 사용자 지정 양자화를 적용한 변형 모델을 출시한 경우, 수동으로 다운로드한 GGUF 모델을 LM Studio로 가져오는 것도 고려해 볼 수 있습니다.
• 인터넷 연결이 없을 때: 인터넷에 접속할 수 없는 위치에 있는 경우 USB 드라이브 또는 로컬 네트워크를 사용하여 GGUF 파일을 전송하고 LM Studio에 직접 통합할 수 있습니다.

수동으로 다운로드한 GGUF 모델을 LM Studio로 가져오는 방법.

다음으로 우리는 수동으로 다운로드한 GGUF 모델을 LM Studio로 가져오는 방법에 대한 단계별 지침먼저 LM Studio의 내부 모델 폴더에 있는 파일을 수동으로 정리하는 방법을 살펴보겠습니다. 그런 다음 터미널에서 명령어를 실행하여 가져오는 방법을 보여드리겠습니다.

파일을 수동으로 정리하세요

수동으로 다운로드한 GGUF 모델을 LM Studio로 가져오려면 다음 단계를 따르세요. 해당 파일을 애플리케이션에서 요구하는 폴더 구조를 준수하여 내부 모델 폴더 안에 배치하십시오.이렇게 하려면 다음 단계를 따르세요.

1. 로컬 모델 폴더를 엽니다. LM Studio를 실행하고 '내 모델' 탭(왼쪽 사이드바의 폴더 아이콘)으로 이동한 다음 '모델 디렉토리 열기'를 클릭합니다. 파일 탐색기를 사용하여 수동으로 찾아보려면 다음 단계를 따르세요.
   • Windows: C:\Users\YOUR_USER\.cache\lm-studio\models
   • macOS/Linux: ~/.cache/lm-studio/models
2. 하위 폴더 구조를 생성하세요: LM Studio에서는 모델 파일이 작성자 폴더와 모델 하위 폴더 안에 있어야 합니다. 다음 경로에 따라 폴더를 생성하세요: models/[작성자 이름]/[모델 이름]. 예시는 다음과 같습니다: models/QuantFactory/Llama-3-8B-Instruct-GGUF
3. .gguf 파일을 다음 위치에 놓으십시오: .gguf 파일을 방금 생성한 모델의 하위 폴더로 직접 이동하거나 복사하세요.
4. 모델을 새로고침하고 선택하세요. LM Studio로 돌아갑니다. '내 모델' 탭 또는 상단의 모델 선택 드롭다운 메뉴에서 '새로 고침' 아이콘을 클릭합니다(즉시 감지되지 않으면 애플리케이션을 다시 시작하십시오). 모델이 메모리에 로드될 준비가 된 상태로 표시됩니다.

때때로, LM Studio에서 모델을 불러올 수 없습니다.이전 기사에서 우리는 다음을 분석했습니다. 흔히 저지르는 실수와 해결책 단계별로 따라할 수 있습니다. 모델을 불러올 수 없는 경우 어떤 문제가 발생하는지, 그리고 어떻게 해결해야 하는지 알아보세요.

lms 가져오기를 사용하세요

수동으로 다운로드한 GGUF 모델을 LM Studio로 가져오는 또 다른 방법은 다음과 같습니다. 터미널에서 다음 명령어를 실행하세요:

• lms 가져오기 대화형 안내에 따라 가져오기 프로세스를 완료하세요.
• LM Studio의 예상 모델 디렉토리 구조는 다음과 같습니다.
  • ~/.lmstudio/models/
    발행자/
    모델/
    모델 파일.gguf
• 예를 들어, infra-ai에서 게시한 ocelot-v1이라는 모델이 있다면 구조는 다음과 같습니다.
  • ~/.lmstudio/models/
    인프라-AI/
    오셀롯-v1/
    오셀롯-v1-instruct-q4_0.gguf

LM Studio의 기본 CLI를 사용하여

LM Studio에는 명령줄 도구가 포함되어 있습니다. 그래픽 인터페이스를 열지 않고 모델을 관리하고 실행할 수 있습니다.수동으로 다운로드한 GGUF 모델을 LM Studio로 가져오려면 다음 방법도 사용할 수 있습니다.

1. lms 명령어를 설치하세요: LM Studio를 열고 사이드바의 개발자/CLI 탭으로 이동한 다음 'lms' 명령줄 도구 설치를 클릭하거나 터미널에서 lms Bootstrap을 실행하세요.
2. LMS를 사용하여 모델을 로드합니다. .gguf 파일이 models 폴더에 있으면 다음 명령을 실행하세요: lms load –gpu max.
3. 상호 작용적인 대화를 시작하세요: LMS 채팅.
4. OpenAI와 호환되는 로컬 서버를 시작하세요: LMS 서버가 시작되었습니다.

수동으로 다운로드한 GGUF 모델을 LM Studio로 가져올 때의 장점: 가능합니다

수동으로 다운로드한 GGUF 모델을 LM Studio로 가져오면 여러 가지 이점이 있습니다. 성능, 접근성 및 맞춤 설정 측면에서 주요 이점은 다음과 같습니다.주요 이점은 다음과 같습니다.

• 더 빠르고 안정적인 다운로드: 외부 다운로드 관리자는 내장 클라이언트보다 느리거나 불안정한 연결 상태를 더 잘 처리합니다. 이를 통해 용량이 큰 파일 다운로드를 진행 상황 손실 없이 일시 중지하거나 재개할 수 있습니다.
• 자신이 제작한 모델 또는 개인 모델 사용: 로컬에서 직접 모델을 학습시킨 경우, 해당 모델이 공개 저장소에 호스팅되어 있지 않다면 다음 방법 중 하나를 사용하여 수동으로 가져와야 합니다.
• 오프라인 환경과의 호환성: 이 기능을 사용하면 모델을 USB 드라이브나 로컬 네트워크로 전송하여 보안 수준이 높은 컴퓨터나 인터넷에 접속할 수 없는 컴퓨터에서도 작업할 수 있습니다.
• 디스크 공간 절약: 이미 llama.cpp, Ollama 또는 AnythingLLM과 같은 다른 환경에서 동일한 .gguf 파일을 사용하고 있다면 파일 중복을 방지할 수 있습니다. 해당 파일을 LM Studio 모델 폴더로 이동하거나 링크하기만 하면 됩니다.
• 향상된 버전 관리: 이렇게 하면 소스 저장소에서 모델이 변경되거나 예기치 않게 업데이트될 위험 없이 모델의 정확한 버전을 사용할 수 있습니다.

결론적으로, LM Studio에 GGUF 모델을 수동으로 가져오면 로컬 환경을 완벽하게 제어할 수 있습니다. 파일을 하위 폴더로 정리하거나 터미널을 사용하는 등 어떤 방법을 사용하든, 이 절차를 통해 사용자 지정 양자화를 활용하고, 오프라인으로 작업하며, 리소스를 효율적으로 관리할 수 있습니다. 이 글에서 논의된 내용을 적용하면 다음과 같은 이점을 누릴 수 있습니다. 개발 환경을 개인화하고 AI 프로젝트를 강화하세요..