- Mu는 NPU가 장착된 Windows 11 기기에서 로컬로 실행되도록 최적화된 Microsoft의 새로운 소규모 언어 모델입니다.
- 초기 통합은 Windows 11 구성 에이전트에서 이루어지며 자연어를 사용하여 조정할 수 있습니다.
- Mu는 100억 330천만 개의 매개변수 덕분에 초당 XNUMX개 이상의 토큰을 처리하여 효율성과 속도가 뛰어납니다.
- 여기에는 Dual LayerNorm, RoPE, GQA와 같은 혁신이 포함되었으며, 고급 프로세스와 고품질 교육 데이터를 사용하여 학습되었습니다.
도착 Mu, 최신 소규모 언어 모델이 제시되었습니다. Microsoft는 인공지능을 사용자 기기에 직접 탑재하는 현재 추세에서 중요한 진전을 나타냅니다. 클라우드 의존도 감소 그리고 잠재력을 활용하세요 신경 처리 장치(NPU), Mu는 통합되어 있습니다 부조종사+ PC 달리는 윈도우 11, 처음에는 다음에 초점을 맞추었습니다. 설정 앱 간단한 자연어를 사용하여 시스템 매개변수에 대한 접근과 수정을 용이하게 합니다.
이 발전은 외부 서버로 쿼리를 보내는 대신 처리 및 응답은 장치 자체에서 생성됩니다.더 큰 프라이버시, 민첩성 및 효율성을 보장합니다. 현재로서는 이 출시는 Copilot+ 컴퓨터를 사용하는 Windows Insider Program 참여자를 대상으로 합니다.하지만 이 기술은 향후 업데이트를 통해 더 많은 사용자와 기능으로 확장될 것으로 기대됩니다.
무는 실제로 무엇이고 무엇이 그것을 돋보이게 하는가?
Mu 하는 소규모 언어 모델 (SLM, 영어 약어의 경우) 330억 XNUMX천만 개의 매개변수로 학습됨Microsoft에 따르면 컴팩트한 크기는 성능 저하를 의미하지 않으며 훨씬 더 큰 모델과 매우 유사한 수치를 달성합니다. 피프-3.5-미니이러한 균형은 다음과 같은 기술을 포함하는 엄격한 교육 과정 덕분에 달성되었습니다. 듀얼 레이어 노름, 회전 위치 임베딩(RoPE) y 그룹화된 쿼리 주의(GQA) 특히 리소스가 제한된 장치에서 효율성과 정밀성을 제공합니다.
이 모델은 다음 이점을 활용합니다. 인코더-디코더 아키텍처 사용자 입력을 처리하고 시스템 내에서 동작으로 변환할 수 있는 변환기 유형의 구조입니다. 이러한 구조 덕분에 Mu는 입력 및 출력 처리를 분리합니다, 뭐 대기 시간과 메모리 소모를 줄입니다.원활하고 대기 없는 사용자 경험을 보장하기 위한 핵심 사항입니다.
공식 테스트 및 데이터에서 Mu는 다음과 같은 능력을 입증했습니다. 초당 100개 이상의 토큰에 응답합니다 500밀리초 이내에 응답을 제공합니다.이러한 수치는 설정을 수정하거나 일상 언어로 길고 다양한 질문을 해석하는 경우에도 사실상 즉각적인 상호작용을 가능하게 합니다. 이러한 모델의 작동 방식을 더 자세히 알아보려면 다음을 참조하세요. PC에서 언어 모델 간 비교.
구성 에이전트 및 실용적인 기능에 통합
무의 초기 착륙은 다음 위치에 집중되어 있습니다. Windows 11 구성 에이전트, 사용자가 사용할 수 있는 기능 필요한 내용을 입력하거나 말하는 것만으로 시스템 매개변수를 조정할 수 있습니다.예를 들어, 그냥 물어보세요 "다크 모드를 어떻게 활성화하나요?" o "밝기를 높이고 싶어요" 이를 통해 Mu는 해당 명령을 시스템 내의 해당 기술적 작업으로 변환할 수 있습니다.
Microsoft는 AI가 적응한다고 강조했습니다. 수만 개의 다양한 컨텍스트와 쿼리실제로 10만 개 이상이 사용되었습니다. 3,6만 개의 훈련 샘플 언어 변경이나 Wi-Fi 네트워크 관리와 같은 가장 일반적인 요청부터 더 복잡한 작업까지 모든 것을 처리할 수 있습니다. 너무 짧거나 모호한 질문의 경우, 시스템은 기존 검색 기능하지만 지시가 명확하고 자세하면 Mu는 자동으로 작동하거나 사용자를 단계별로 안내합니다.
새로운 세대의 하드웨어에 맞춰 적용된 기술 및 최적화
La Mu 최적화 개발 과정에서 가장 신중하게 고려된 부분 중 하나였습니다. Microsoft는 다음과 같은 실리콘 파트너와 협력해 왔습니다. AMD, 인텔, 퀄컴 Copilot+ PC에 있는 새로운 NPU의 특성에 맞게 조정하기 위해이 공동 작업을 통해 소개가 가능해졌습니다. 훈련 후 정량화 기술모델 가중치와 활성화를 8비트와 16비트 정수로 변환하여 메모리 소비를 줄이고 전체 모델을 다시 학습할 필요성을 방지합니다.
Mu의 훈련 과정은 고성능 환경에서 수행되었습니다. 엔비디아 A100 GPU 이내 Azure 기계 학습포함된 데이터 세트 수천억 개의 교육 토큰 및 다음과 같은 기술 파이 모델로부터의 증류 그리고 저범위 적응(LoRA)을 통해 지식을 전달하고 특정 작업에 맞게 모델을 미세 조정합니다. 그 결과, 최신 웨어러블 하드웨어의 리소스와 한계에 최적화된 작고 민첩한 모델이 탄생합니다. 또한, PC를 로컬 AI 허브로 전환 시스템의 기능을 확장하세요.
현재 과제, 가용성 및 미래 전망
무가 직면한 가장 큰 과제 중 하나는 모호하거나 매우 간단한 질의에 대한 해석, 자연어 기반 시스템에서 흔히 발생하는 문제입니다. 이를 위해 Microsoft는 하이브리드 로직을 구현했습니다.짧은 쿼리는 기존 검색 결과를 촉발하는 반면, 더 자세한 지시는 사용자를 안내하거나 자동화된 작업을 수행하기 위해 AI의 개입을 유발합니다.
지금은 Mu는 영어로만 제공되며, Insider 채널을 통해 Copilot+ 기기에서만 사용할 수 있습니다.하지만 향후 몇 개월 안에 AMD와 Intel 프로세서를 탑재한 기기를 포함해 더 많은 언어와 다른 기기로 확장될 것으로 예상됩니다. 개인 정보 보호 및 보안 또한 가공의 지역적 특성을 감안할 때, 그들은 근본적인 역할을 합니다.
Mu의 배포는 Microsoft가 통합하기 위한 보다 광범위한 전략의 시작일 뿐입니다. 로컬 AI와 효율적인 언어 모델 성능이나 개인 정보 보호를 희생하지 않고도 운영 체제의 더 많은 애플리케이션과 측면에서 경험과 접근성을 개선합니다.
나는 그의 "괴짜" 관심을 직업으로 바꾼 기술 열광자입니다. 나는 10년 넘게 최첨단 기술을 사용하고 순수한 호기심으로 온갖 프로그램을 만지작거리며 살아왔습니다. 이제 저는 컴퓨터 기술과 비디오 게임을 전공했습니다. 왜냐하면 저는 5년 넘게 기술 및 비디오 게임에 관한 다양한 웹사이트에 글을 쓰고 모든 사람이 이해할 수 있는 언어로 필요한 정보를 제공하려는 기사를 작성해 왔기 때문입니다.
질문이 있으시면 제가 알고 있는 지식은 Windows 운영 체제는 물론 휴대폰용 Android까지 다양합니다. 그리고 저는 여러분을 위한 헌신을 하고 있습니다. 저는 항상 몇 분씩만 시간을 내어 이 인터넷 세계에서 여러분이 가질 수 있는 모든 질문을 해결하도록 도와드릴 의향이 있습니다.