- Mu er Microsofts nye småspråkmodell, optimalisert for å kjøre lokalt på Windows 11-enheter med NPU-er.
- Den første integrasjonen gjøres i Windows 11-konfigurasjonsagenten, som tillater justeringer ved hjelp av naturlig språk.
- Mu skiller seg ut for sin effektivitet og hastighet, og når mer enn 100 tokens per sekund takket være sine 330 millioner parametere.
- Den inkluderer innovasjoner som Dual LayerNorm, RoPE og GQA, og har blitt trent ved hjelp av avanserte prosesser og utdanningsdata av høy kvalitet.
Ankomsten av Mu, den nyeste småspråkmodellen presentert av Microsoft, markerer et betydelig skritt i den nåværende trenden med å plassere kunstig intelligens direkte på brukernes enheter. Med den hensikt å redusere skyavhengighet og utnytte potensialet til Nevrale prosesseringsenheter (NPU), Mu er integrert i Copilot+ PC-er løping Windows 11, i utgangspunktet med fokus på Innstillinger-appen for å forenkle tilgang til og endring av systemparametere ved hjelp av enkelt naturlig språk.
Dette fremskrittet betyr at i stedet for å sende spørringer til eksterne servere, behandling og svar genereres på selve enheten, noe som sikrer større personvern, smidighet og effektivitet. For øyeblikket, den Utrullingen er rettet mot deltakere i Windows Insider-programmet med Copilot+-datamaskiner., selv om forventningen er at denne teknologien vil bli utvidet til flere brukere og funksjoner i fremtidige oppdateringer.
Hva er egentlig Mu, og hva gjør at det skiller seg ut?
Mu er en liten språkmodell (SLM, for akronymet på engelsk), trent med 330 millioner parametereDen kompakte størrelsen betyr ikke at det går utover ytelsen, ettersom den ifølge Microsoft oppnår tall som er svært nær mye større modeller som f.eks. Phip-3.5-miniDenne balansen er oppnådd takket være en grundig treningsprosess som har inkludert teknikker som DobbeltlagsNorm, Rotary Positional Embeddings (RoPE) y Grouped-Query Attention (GQA) som gir effektivitet og presisjon, spesielt i enheter med begrensede ressurser.
Modellen utnytter en koder-dekoder-arkitektur av transformatortypen, i stand til å behandle brukerinndata og transformere det til handlinger i systemet. Takket være denne strukturen, Mu skiller input- og output-prosessering, hva reduserer ventetid og minneforbruk, viktige punkter for å sikre en smidig og ventefri brukeropplevelse.
I offisielle tester og data har Mu vist seg å være i stand til å svare på mer enn 100 tokens per sekund og gi svar på under 500 millisekunderDisse tallene muliggjør så godt som umiddelbare interaksjoner, selv når det gjelder å endre innstillinger eller tolke lange og varierte spørringer i hverdagsspråk. Hvis du vil dykke dypere ned i hvordan disse modellene fungerer, kan du sjekke ut Sammenligninger mellom språkmodeller på PC.
Integrering i konfigurasjonsagenten og praktiske funksjoner
Mus første landing er sentrert rundt Windows 11-konfigurasjonsagent, en funksjon som lar brukere juster systemparametrene ved ganske enkelt å skrive eller si det de trengerFor eksempel, bare spør "Hvordan aktiverer jeg mørk modus?" o "Jeg vil øke lysstyrken" slik at Mu kan oversette instruksjonen til den tilsvarende tekniske handlingen i systemet.
Microsoft har understreket at AI tilpasser seg titusenvis av forskjellige kontekster og spørringerFaktisk har mer enn 100 000 blitt brukt. 3,6 millioner treningsprøver for å dekke alt fra de vanligste forespørslene – som å endre språk eller administrere Wi-Fi-nettverk – til mer komplekse oppgaver. For spørsmål som er for korte eller tvetydige, bruker systemet tradisjonelle søkefunksjoner, men når instruksjonen er klar og detaljert, handler Mu automatisk eller veileder brukeren trinn for trinn.
Teknologi og optimalisering tilpasset nye generasjoner av maskinvare
La Mu-optimalisering har vært et av de mest nøye vurderte punktene under utviklingen. Microsoft har samarbeidet med silisiumpartnere som AMD, Intel og Qualcomm å tilpasse den til spesifikasjonene til de nye NPU-ene som finnes i Copilot+ PC-eneDette felles arbeidet har gjort det mulig å introdusere kvantifiseringsteknikker etter trening, som konverterer modellvektene og aktiveringene til 8- og 16-bits heltall, og dermed reduserer minneforbruket og unngår behovet for å trene hele modellen på nytt.
Mus treningsprosess ble gjennomført i høypresterende miljøer, ved bruk av NVIDIA A100 GPU-er innenfor Azure maskinlæringDatasettet inkluderte hundrevis av milliarder av utdanningstokener og teknikker som destillasjon fra Phi-modeller og lavdistansetilpasning (LoRA) for å overføre kunnskap og finjustere modellen for spesifikke oppgaver. Sluttresultatet er en liten, smidig modell som er unikt tilpasset ressursene og begrensningene til moderne bærbar maskinvare. Du kan også utforske hvordan Gjør PC-en din om til et lokalt AI-knutepunkt for å utvide systemets muligheter.
Nåværende utfordringer, tilgjengelighet og fremtidsutsikter
En av de største utfordringene Mu står overfor er tolkning av tvetydige eller svært korte spørsmål, et vanlig problem i systemer basert på naturlig språk. For å gjøre dette, Microsoft har implementert en hybridlogikkMens korte søk utløser tradisjonelle søkeresultater, utløser mer detaljerte instruksjoner AI-intervensjon, enten for å veilede brukeren eller utføre automatiserte handlinger.
For nå, Mu er kun tilgjengelig på engelsk og på Copilot+-enheter gjennom Insider-kanalen., selv om det forventes at det utvides til flere språk og andre enheter i løpet av de kommende månedene, inkludert de med AMD- og Intel-prosessorer. personvern og sikkerhet De spiller også en grunnleggende rolle, gitt den lokale naturen til prosesseringen.
Utrullingen av Mu er bare begynnelsen på en bredere strategi fra Microsoft for å innlemme Lokal AI og effektive språkmodeller i enda flere applikasjoner og aspekter av operativsystemet, noe som forbedrer opplevelsen og tilgjengeligheten uten å ofre ytelse eller personvern.
Jeg er en teknologientusiast som har gjort sine "geek"-interesser til et yrke. Jeg har brukt mer enn 10 år av livet mitt på å bruke banebrytende teknologi og fikse med alle slags programmer av ren nysgjerrighet. Nå har jeg spesialisert meg på datateknologi og videospill. Dette er fordi jeg i mer enn 5 år har skrevet for forskjellige nettsteder om teknologi og videospill, og laget artikler som prøver å gi deg den informasjonen du trenger på et språk som er forståelig for alle.
Hvis du har spørsmål, spenner min kunnskap fra alt relatert til Windows-operativsystemet samt Android for mobiltelefoner. Og mitt engasjement er til deg, jeg er alltid villig til å bruke noen minutter og hjelpe deg med å løse eventuelle spørsmål du måtte ha i denne internettverdenen.