- LM Studio는 다운로드된 허깅 페이스 모델의 추론 엔진 및 관리자 역할을 합니다.
- Open WebUI는 다중 사용자 지원, RAG 및 에이전트 도구를 갖춘 고급 웹 인터페이스를 제공합니다.
- 통합은 OpenAI 호환 API를 통해 이루어지므로 로컬 모델을 전문적인 웹 환경에서 사용할 수 있습니다.
인공지능 분야에 관심은 있지만 클라우드에 지속적으로 의존하거나 매번 상담 비용을 지불하고 싶지 않다면, 아마 이미 들어보셨을 겁니다. LM 스튜디오 및 오픈 웹UI첫 번째 애플리케이션은 모델을 컴퓨터에 다운로드하고 실행하는 것을 용이하게 해주고, 두 번째 애플리케이션은 특히 문서, 도구 및 여러 사용자와 함께 작업하는 데 유용한 훨씬 더 광범위한 웹 인터페이스를 제공합니다.
이 조합은 특히 흥미로운데, 그 이유는 이를 통해 다음과 같은 사용이 가능해지기 때문입니다. LM Studio를 추론 서버로 사용 그리고 Open WebUI를 메인 인터페이스로 사용합니다.이렇게 하면 데스크톱 애플리케이션에서 모델을 관리하고 웹 플랫폼에서 기록, 지식 기반, 권한 및 다양한 확장 옵션을 통해 모델과 상호 작용할 수 있습니다.
각 도구는 연결에 어떤 기여를 하나요?
LM Studio는 주로 다음을 위해 만들어졌습니다. 호환되는 모델을 검색, 다운로드 및 실행합니다. 터미널을 지속적으로 사용하지 않고도 작업할 수 있습니다. 카탈로그를 통해 Hugging Face에 게시된 모델을 탐색하고 파일 크기, 아키텍처 또는 사용 가능한 양자화 유형과 같은 데이터를 확인할 수 있습니다.
이 애플리케이션은 모델이 장비에서 적절한 성능을 발휘할 수 있는지 여부를 판단하는 데에도 도움이 됩니다. 그러나 양자화 결과를 품질을 정확하게 예측하는 것으로 해석해서는 안 됩니다. 파일 크기가 작을수록 메모리 사용량은 줄어들지만 정확도가 다소 떨어질 수 있습니다..
이 통합에서 가장 중요한 기능 중 하나는 다음과 같습니다. LM 스튜디오 로컬 서버이 기능은 OpenAI API와 호환되는 엔드포인트를 게시하여 다른 애플리케이션이 기본 주소만 변경하면 모델에 요청을 보낼 수 있도록 합니다.
Open WebUI는 단순한 채팅 인터페이스 그 이상입니다. 다양한 모델 제공업체와 서버를 연결하고, 지식 기반을 구축하고, 사용자를 관리하고, 도구, 기능 및 MCP 서버를 통해 기능을 확장할 수 있습니다.
그들의 시스템 RAG 또는 회복에 의한 향상된 생성 Open WebUI는 문서를 처리하고 관련 부분을 추출한 후 응답을 생성할 수 있습니다. 다양한 벡터 데이터베이스, 추출 엔진, 하이브리드 검색 및 재순위 시스템을 지원하지만, 사용 가능한 옵션은 플랫폼의 배포 및 구성 방식에 따라 달라집니다.
또한 그룹, 권한, 역할 및 다양한 인증 시스템과 같은 팀 기반 기능도 포함합니다. 고급 설치 환경에서는 Docker 또는 Kubernetes를 사용하여 배포하고 여러 인스턴스와 연동되도록 구성할 수 있습니다.
LM Studio와 Open WebUI를 연결하는 방법
LM Studio는 출판할 수 있습니다 OpenAI API와 호환되는 서버이 덕분에 Open WebUI는 모든 처리가 팀 내부에서 이루어지더라도 이를 또 다른 모델 제공업체로 취급할 수 있습니다.
먼저 LM Studio를 열고 개발자 섹션으로 이동합니다. 거기서 로컬 서버를 시작할 수 있습니다. 일반적으로 사용되는 포트는 다음과 같습니다. 1234설정에서 변경할 수 있습니다.
계속하기 전에, LM Studio에 사용할 모델을 불러오세요.서버가 응답하는지 확인하려면 브라우저에서 다음 주소를 열거나 호환되는 도구를 사용하십시오.
http://localhost:1234/v1/models그런 다음 Open WebUI로 이동하여 다음 경로를 따르세요.
- 열기 관리자 패널.
- 입력하다 설정.
- 해당 섹션에 접속하세요 사이.
- 다음 유형의 연결을 검색합니다. 오픈아이.
- 새 연결을 추가하려면 버튼을 누르세요.
두 애플리케이션이 동일한 시스템에서 직접 실행되는 경우 다음 기본 주소를 사용하십시오.
http://localhost:1234/v1LM Studio는 기본적으로 API 키를 요구하지 않습니다. 사용 중인 Open WebUI 버전에서 이 필드가 필요한 경우 테스트 값을 입력할 수 있습니다. 최신 버전의 LM Studio에서는 API 키 입력도 허용합니다. 인증을 활성화하고 토큰을 생성하세요.이 기능을 활성화하려면 Open WebUI에 유효한 토큰을 입력해야 합니다.
연결을 저장하고 모델이 웹 UI 열기 선택기에 나타나는지 확인하십시오. 자동으로 나타나지 않으면 엔드포인트에 표시된 식별자를 확인하십시오. /v1/models 그리고 연결의 모델 필터에 수동으로 추가합니다.
Open WebUI에서 Docker를 사용할 때 연결하는 방법
Open WebUI가 Docker 내에서 실행되는 경우와 LM Studio가 Windows 또는 macOS에 직접 설치된 경우 구성이 변경됩니다. 이 경우, localhost는 컨테이너 자체를 가리킵니다.LM Studio가 실행 중인 컴퓨터로 전송하는 것이 아닙니다.
일반적으로 사용해야 할 주소는 다음과 같습니다.
http://host.docker.internal:1234/v1또한 LM Studio 서버 설정으로 이동하여 활성화하십시오. 로컬 네트워크에서 서비스 제공이 옵션을 사용하면 서버가 자체 로컬 프로세스에 대한 외부 연결을 수락할 수 있습니다.
이 설정으로 인해 네트워크상의 다른 기기에서 API에 접근할 수 있게 될 수 있다는 점을 유의하십시오. 다른 사람들과 네트워크를 공유하는 경우, 다음 사항을 권장합니다... 토큰을 사용한 인증을 활성화합니다. 방화벽 규칙을 검토하십시오.
리눅스 환경의 일부 Docker 설치에서 이름은 다음과 같습니다. host.docker.internal 자동으로 구성되지 않습니다. 이 경우 컨테이너에 다음 내용을 추가해야 할 수 있습니다.
--add-host=host.docker.internal:host-gateway또 다른 방법은 호스트 컴퓨터의 IP 주소를 사용하는 것이지만, 컨테이너에서 접근 가능한 주소여야 합니다. 임의의 IP 주소를 입력하거나 라우터에서 1234번 포트를 여는 것은 권장하지 않습니다.
가장 흔한 연결 오류를 해결하는 방법
Open WebUI가 LM Studio와 통신하는 데 실패하는 경우, 먼저 서버가 여전히 활성화되어 있는지, 그리고 응답할 준비가 된 모델이 하나 이상 있는지 확인해야 합니다.
사용한 주소도 확인해야 합니다.
- 직접 설치: 사용
http://localhost:1234/v1. - Docker에서 웹 UI 열기: 증거
http://host.docker.internal:1234/v1. - 네트워크상의 다른 컴퓨터: LM Studio가 실행 중인 컴퓨터의 로컬 IP 주소를 사용하십시오.
주소가 Windows에서는 작동하지만 컨테이너에서는 작동하지 않는 경우, 일반적으로 다음과 같은 문제가 원인일 수 있습니다. 도커 네트워크 문제"로컬 네트워크에서 서비스"가 활성화되어 있는지, 방화벽에서 포트를 차단하지 않는지, 컨테이너가 해당 포트를 확인할 수 있는지 확인하십시오. host.docker.internal.
일반적으로 이러한 애플리케이션을 연결하는 데 CORS를 활성화할 필요는 없습니다. Open WebUI는 백엔드에서 요청을 보내므로 브라우저 제한 사항이 통신에 영향을 미치는 경우는 드뭅니다.
오류 관련 openapi.jsonLM Studio를 등록하려고 할 때 예상치 못한 엔드포인트 또는 호환되지 않는 메서드가 나타날 수 있습니다. OpenAPI 도구해당 모델을 사용하려면 도구 서버로 구성하는 것이 아니라 기본 주소가 로 끝나는 OpenAI 연결로 구성해야 합니다. /v1.
연결이 올바르게 저장되었지만 선택기가 비어 있는 경우 다음을 확인하십시오.
http://localhost:1234/v1/modelsOpen WebUI가 Docker 내부에 있는 경우, 컨테이너의 해당 주소를 사용하십시오. host.docker.internal이를 통해 서버가 모델 식별자를 올바르게 반환하는지 확인할 수 있습니다.
대안 및 설치 최적화 방법
LM Studio와 Open WebUI의 조합은 매우 완벽하지만, 이것이 유일한 조합은 아닙니다. 얀 이 시스템은 로컬 모델에 초점을 맞춘 데스크톱 환경을 제공합니다. AnythingLLM 문서와 대화를 별도의 작업 공간으로 정리할 수 있다는 점이 특히 돋보입니다.
가정 환경이나 사용자 수가 적은 경우에는 기본 Open WebUI 데이터베이스로도 충분합니다. 하지만 여러 인스턴스를 배포하거나 많은 사용자를 지원해야 하는 경우에는 다른 구성 옵션을 고려하는 것이 좋습니다. PostgreSQL, 외부 저장소 및 Redis단순히 SQLite를 교체하는 것만으로는 확장 가능한 시스템을 자동으로 구축할 수 없습니다.
문서에 대한 응답을 개선하려면 스니펫 크기, 겹침, 임베딩 모델 및 검색 시스템을 조정할 수도 있습니다. 주로 스페인어로 된 콘텐츠의 경우, 다음을 선택하는 것이 가장 좋습니다. 다국어 임베딩 모델주로 영어 텍스트에 최적화된 도구를 사용하는 대신,
개인 정보 보호를 위해 명심해야 할 사항
LM Studio가 모델을 처리하고 Open WebUI가 자체 인프라에서 호스팅되는 경우, 대화는 네트워크 내에서 유지될 수 있습니다. 하지만 이는 사용된 구성에 따라 달라집니다.
Open WebUI를 연결하면 데이터가 외부로 전송될 수 있습니다. 상용 API, 검색 엔진, 클라우드 기반 OCR 서비스, 원격 모델 또는 외부 도구선택한 추출 및 임베딩 기능이 로컬에서 실행 중인지 여부도 확인해야 합니다.
따라서 단순히 두 애플리케이션을 설치하는 것만으로는 데이터가 컴퓨터 외부로 전혀 유출되지 않도록 보장할 수 없습니다. 진정한 로컬 환경을 구축하려면 자체 인프라에 호스팅된 모델, 임베디드, 데이터베이스 및 도구를 사용해야 합니다.
LM Studio를 추론 엔진으로, Open WebUI를 운영 센터로 사용하여 다음을 생성할 수 있습니다. 유연하고 다중 사용자 친화적인 로컬 인공지능 환경핵심은 각 설치 환경에 맞는 올바른 주소를 사용하고, 서버가 네트워크에 노출된 경우 서버를 보호하며, 기밀 정보를 다루기 전에 어떤 구성 요소가 문서를 처리하는지 확인하는 것입니다.
나는 그의 "괴짜" 관심을 직업으로 바꾼 기술 열광자입니다. 나는 10년 넘게 최첨단 기술을 사용하고 순수한 호기심으로 온갖 프로그램을 만지작거리며 살아왔습니다. 이제 저는 컴퓨터 기술과 비디오 게임을 전공했습니다. 왜냐하면 저는 5년 넘게 기술 및 비디오 게임에 관한 다양한 웹사이트에 글을 쓰고 모든 사람이 이해할 수 있는 언어로 필요한 정보를 제공하려는 기사를 작성해 왔기 때문입니다.
질문이 있으시면 제가 알고 있는 지식은 Windows 운영 체제는 물론 휴대폰용 Android까지 다양합니다. 그리고 저는 여러분을 위한 헌신을 하고 있습니다. 저는 항상 몇 분씩만 시간을 내어 이 인터넷 세계에서 여러분이 가질 수 있는 모든 질문을 해결하도록 도와드릴 의향이 있습니다.