Microsoft Mu: Den nya språkmodellen som ger lokal AI till Windows 11

Ankomsten av Mu, den senaste lilla språkmodellen presenterad av Microsoft, markerar ett viktigt steg i den nuvarande trenden att placera artificiell intelligens direkt på användarnas enheter. Med avsikt att minska molnberoendet och utnyttja potentialen hos Neurala processorenheter (NPU), Mu är integrerat i Copilot+ datorer löpning Windows 11, inledningsvis med fokus på Appen Inställningar för att underlätta åtkomst och modifiering av systemparametrar med hjälp av ett enkelt naturligt språk.

Denna förbättring innebär att istället för att skicka frågor till externa servrar, bearbetning och svar genereras på själva enheten, vilket säkerställer större integritet, smidighet och effektivitet. För tillfället, den Lanseringen riktar sig till deltagare i Windows Insider-programmet med Copilot+-datorer., även om förväntningen är att denna teknik kommer att utökas till fler användare och funktioner i framtida uppdateringar.

Relaterad artikel:

Foundry Local och Windows AI Foundry: Microsoft satsar på lokal AI med ett nytt utvecklarekosystem.

Vad är Mu egentligen och vad gör att det sticker ut?

Mu är en liten språkmodell (SLM, för dess akronym på engelska), tränad med 330 miljoner parametrarDess kompakta storlek innebär inte en prestandauppoffring, eftersom den enligt Microsoft uppnår siffror mycket nära betydligt större modeller som t.ex. Phip-3.5-miniDenna balans har uppnåtts tack vare en rigorös träningsprocess som har inkluderat tekniker som DubbelskiktNorm, Rotary Positional Embeddings (RoPE) y Grupperad frågeuppmärksamhet (GQA) som ger effektivitet och precision, särskilt i enheter med begränsade resurser.

Modellen utnyttjar en kodare-avkodare-arkitektur av transformatortyp, kapabel att bearbeta användarinmatning och omvandla den till handlingar inom systemet. Tack vare denna struktur, Mu separerar in- och utmatningsbehandling, Vad minskar latens och minnesförbrukning, viktiga punkter för att säkerställa en smidig och väntefri användarupplevelse.

I officiella tester och data har Mu visat sig kapabel till svara på mer än 100 tokens per sekund och ge svar på mindre än 500 millisekunderDessa siffror möjliggör praktiskt taget omedelbara interaktioner, även när det gäller att ändra inställningar eller tolka långa och varierande frågor i vardagligt språk. Om du vill fördjupa dig i hur dessa modeller fungerar kan du kolla in Jämförelser mellan språkmodeller på PC.

Integrering i konfigurationsagenten och praktiska funktioner

Mus första landning är centrerad kring Windows 11-konfigurationsagent, en funktion som gör det möjligt för användare justera systemparametrar genom att helt enkelt skriva eller säga vad de behöver. Till exempel, fråga bara "Hur aktiverar jag mörkt läge?" o "Jag vill öka ljusstyrkan" så att Mu kan översätta den instruktionen till motsvarande tekniska åtgärd inom systemet.

Microsoft har betonat att AI anpassar sig till tiotusentals olika sammanhang och frågorFaktum är att mer än 100 000 har använts. 3,6 miljoner träningsprover för att täcka allt från de vanligaste förfrågningarna – som att byta språk eller hantera Wi-Fi-nätverk – till mer komplexa uppgifter. För frågor som är för korta eller tvetydiga använder systemet traditionella sökfunktioner, men när instruktionen är tydlig och detaljerad agerar Mu automatiskt eller vägleder användaren steg för steg.

Teknik och optimering anpassad till nya generationer av hårdvara

La Mu-optimering har varit en av de mest noggrant övervägda punkterna under dess utveckling. Microsoft har samarbetat med kiselpartners som AMD, Intel och Qualcomm att anpassa den till särdragen hos de nya NPU:erna som finns i Copilot+-datorernaDetta gemensamma arbete har gjort det möjligt att introducera kvantifieringstekniker efter träning, som konverterar modellens vikter och aktiveringar till 8- och 16-bitars heltal, vilket minskar minnesförbrukningen och undviker behovet av att omträna hela modellen.

Mus träningsprocess genomfördes i högpresterande miljöer med hjälp av NVIDIA A100 GPU:er inom Azure maskininlärningDatasetet inkluderade hundratals miljarder utbildningstokens och tekniker som destillation från Phi-modeller och Low-Range Adaptation (LoRA) för att överföra kunskap och finjustera modellen för specifika uppgifter. Slutresultatet är en liten, smidig modell som är unikt lämpad för resurserna och begränsningarna hos modern bärbar hårdvara. Du kan också utforska hur förvandla din dator till en lokal AI-hubb för att utöka systemets kapacitet.

Relaterad artikel:

Phi-4 mini AI på Edge: Framtiden för lokal AI i din webbläsare

Nuvarande utmaningar, tillgänglighet och framtidsutsikter

En av de största utmaningarna för Mu är tolkning av tvetydiga eller mycket korta frågor, ett vanligt problem i system baserade på naturligt språk. För att göra detta, Microsoft har implementerat en hybridlogikMedan korta frågor utlöser traditionella sökresultat, utlöser mer detaljerade instruktioner AI-intervention, antingen för att vägleda användaren eller utföra automatiserade åtgärder.

Tills vidare, Mu är endast tillgängligt på engelska och på Copilot+-enheter via Insider-kanalen., även om det förväntas utökas till fler språk och andra enheter under de kommande månaderna, inklusive de med AMD- och Intel-processorer. integritet och säkerhet De spelar också en grundläggande roll, med tanke på bearbetningens lokala karaktär.

Implementeringen av Mu är bara början på en bredare strategi från Microsoft för att införliva Lokal AI och effektiva språkmodeller i ännu fler applikationer och aspekter av operativsystemet, vilket förbättrar upplevelsen och tillgängligheten utan att offra prestanda eller integritet.

Alberto navarro

Jag är en teknikentusiast som har gjort sina "nördar"-intressen till ett yrke. Jag har tillbringat mer än 10 år av mitt liv med att använda den senaste tekniken och mixtrat med alla typer av program av ren nyfikenhet. Nu har jag specialiserat mig på datateknik och tv-spel. Detta beror på att jag i mer än 5 år har arbetat med att skriva för olika webbplatser om teknik och videospel, skapa artiklar som försöker ge dig den information du behöver på ett språk som är begripligt för alla.

Om du har några frågor sträcker sig min kunskap från allt som rör operativsystemet Windows samt Android för mobiltelefoner. Och mitt engagemang är för dig, jag är alltid villig att spendera några minuter och hjälpa dig att lösa alla frågor du kan ha i den här internetvärlden.