- Mu е новият модел за малки езици на Microsoft, оптимизиран за локално изпълнение на устройства с Windows 11 с NPU.
- Първоначалната му интеграция се извършва в агента за конфигуриране на Windows 11, което позволява корекции с помощта на естествен език.
- Mu се откроява със своята ефективност и скорост, достигайки над 100 токена в секунда благодарение на своите 330 милиона параметъра.
- Включва иновации като Dual LayerNorm, RoPE и GQA и е обучен с помощта на усъвършенствани процеси и висококачествени образователни данни.
Пристигането на Mu, най-новият модел на малък език, представен от Microsoft, бележи значителна стъпка в настоящата тенденция за поставяне на изкуствен интелект директно върху устройствата на потребителите. С намерението намаляване на зависимостта от облака и да се възползват от потенциала на Невронни процесорни единици (NPU), Mu е интегриран в Компютри Copilot+ бягане Windows 11, като първоначално се фокусира върху Приложение за настройки да се улесни достъпът и промяната на системните параметри, използвайки просто естествен език.
Това подобрение означава, че вместо да се изпращат заявки към външни сървъри, обработката и отговорите се генерират на самото устройство, осигурявайки по-голяма поверителност, гъвкавост и ефективност. За момента, Разгръщането е насочено към участниците в програмата Windows Insider с компютри Copilot+., въпреки че се очаква тази технология да бъде разширена до повече потребители и функции в бъдещи актуализации.
Какво всъщност е Му и какво го отличава?
Mu е модел на малък език (УУЗ, заради акронима му на английски), обучен с 330 милиона параметъраКомпактният му размер не означава жертване на производителността, тъй като според Microsoft той постига показатели, много близки до много по-големи модели като например Фип-3.5-миниТози баланс е постигнат благодарение на строг тренировъчен процес, който включва техники като ДвуслойнаНорма, Ротационни позиционни вграждания (RoPE) y Внимание при групирани заявки (GQA) които осигуряват ефективност и прецизност, особено в устройства с ограничени ресурси.
Моделът се възползва от архитектура на енкодер-декодер от трансформаторен тип, способен да обработва потребителски вход и да го трансформира в действия в системата. Благодарение на тази структура, Mu разделя обработката на входа и изхода, Какво намалява латентността и консумацията на памет, ключови моменти за осигуряване на безпроблемно потребителско изживяване без чакане.
В официални тестове и данни, Mu е доказал способността си отговарят на повече от 100 токена в секунда и предоставят отговори за по-малко от 500 милисекундиТези числа позволяват практически мигновени взаимодействия, дори когато става въпрос за промяна на настройки или интерпретиране на дълги и разнообразни заявки на ежедневен език. Ако искате да се задълбочите в това как работят тези модели, можете да разгледате Сравнения между езикови модели на компютър.
Интеграция в конфигурационния агент и практически функции
Първоначалното кацане на Му е съсредоточено върху Агент за конфигурация на Windows 11, функция, която позволява на потребителите регулирайте системните параметри, като просто напишете или кажете каквото ви е необходимоНапример, просто попитайте „Как да активирам тъмен режим?“ o „Искам да увелича яркостта“ така че Mu да може да преведе тази инструкция в съответното техническо действие в системата.
Microsoft подчерта, че изкуственият интелект се адаптира към десетки хиляди различни контексти и заявкиВсъщност са използвани повече от 100 000. 3,6 милиона тренировъчни извадки да обхване всичко - от най-често срещаните заявки - като например промяна на езика или управление на Wi-Fi мрежи - до по-сложни задачи. За твърде кратки или двусмислени въпроси системата използва традиционни функции за търсене, но когато инструкцията е ясна и подробна, Mu действа автоматично или насочва потребителя стъпка по стъпка.
Технология и оптимизация, адаптирани към новите поколения хардуер
La Mu оптимизация беше един от най-внимателно обмислените моменти по време на разработването му. Microsoft работи в сътрудничество с партньори в областта на силиция, като например AMD, Intel и Qualcomm да го адаптира към спецификите на новите NPU, налични в Copilot+ компютритеТази съвместна работа направи възможно въвеждането техники за количествено определяне след обучение, които преобразуват теглата и активациите на модела в 8- и 16-битови цели числа, като по този начин намаляват консумацията на памет и избягват необходимостта от преобучение на целия модел.
Тренировъчният процес на Му се провеждаше във високопроизводителна среда, използвайки Графични процесори NVIDIA A100 в Мазутно обучение AzureНаборът от данни включва стотици милиарди образователни токени и техники като дестилация от модели на Фи и адаптация в нисък обхват (LoRA) за трансфер на знания и фина настройка на модела към специфични задачи. Крайният резултат е малък, гъвкав модел, специално адаптиран към ресурсите и ограниченията на съвременния преносим хардуер. Можете също така да разгледате как превърнете компютъра си в локален център за изкуствен интелект за да разширите възможностите на вашата система.
Актуални предизвикателства, наличност и бъдещи перспективи
Едно от най-големите предизвикателства, пред които е изправен Му, е тълкуване на двусмислени или много кратки запитвания, често срещан проблем в системите, базирани на естествен език. За да направите това, Microsoft внедри хибридна логикаДокато кратките заявки задействат традиционните резултати от търсенето, по-подробните инструкции задействат намесата на изкуствен интелект, или за насочване на потребителя, или за извършване на автоматизирани действия.
За сега, Mu е достъпно само на английски език и на устройства Copilot+ чрез канала Insider., въпреки че се очаква да бъде разширена до повече езици и други устройства през следващите месеци, включително тези с процесори AMD и Intel. поверителност и сигурност Те също играят основна роля, предвид местния характер на обработката.
Внедряването на Mu е само началото на по-широка стратегия на Microsoft за включване Локален изкуствен интелект и ефективни езикови модели в още повече приложения и аспекти на операционната система, подобрявайки изживяването и достъпността, без да се прави компромис с производителността или поверителността.
Аз съм технологичен ентусиаст, който е превърнал своите „гийк“ интереси в професия. Прекарах повече от 10 години от живота си, използвайки авангардни технологии и бърникайки с всякакви програми от чисто любопитство. Сега съм специализирал компютърни технологии и видео игри. Това е така, защото повече от 5 години пиша за различни уебсайтове за технологии и видео игри, създавайки статии, които се стремят да ви дадат информацията, от която се нуждаете, на език, разбираем за всички.
Ако имате някакви въпроси, познанията ми варират от всичко свързано с операционната система Windows, както и с Android за мобилни телефони. И моят ангажимент е към вас, винаги съм готов да отделя няколко минути и да ви помогна да разрешите всички въпроси, които може да имате в този интернет свят.