- Mu on Microsofti uus väike keelemudel, mis on optimeeritud töötama lokaalselt Windows 11 seadmetes, millel on NPU-d.
- Selle esialgne integreerimine toimub Windows 11 konfiguratsiooniagendis, mis võimaldab kohandusi teha loomuliku keele abil.
- Mu paistab silma oma efektiivsuse ja kiiruse poolest, saavutades tänu oma 100 miljonile parameetrile üle 330 žetooni sekundis.
- See hõlmab uuendusi nagu Dual LayerNorm, RoPE ja GQA ning on treenitud täiustatud protsesside ja kvaliteetsete haridusandmete abil.
Saabumine Mu, uusim väikese keele mudel, mille esitas Microsoft, tähistab olulist sammu praeguses trendis paigutada tehisintellekt otse kasutajate seadmetesse. Eesmärgiga vähendada pilvesõltuvust ja rakendada potentsiaali Neuraalsed protsessoriüksused (NPU), Mu on integreeritud Copilot+ arvutid jooksmine Windows 11, keskendudes esialgu Seadete rakendus hõlbustamaks süsteemiparameetritele juurdepääsu ja nende muutmist lihtsa loomuliku keele abil.
See edasiminek tähendab, et päringute saatmise asemel välistele serveritele töötlemine ja vastused genereeritakse seadmes endas, tagades suurema privaatsuse, paindlikkuse ja tõhususe. Praegu on See värskendus on suunatud Windows Insider programmi osalejatele, kellel on Copilot+ arvutid., kuigi eeldatakse, et tulevastes värskendustes laiendatakse seda tehnoloogiat rohkematele kasutajatele ja funktsioonidele.
Mis on Mu tegelikult ja mis teeb selle silmapaistvaks?
Mu on väike keelemudel (SLM, selle ingliskeelse akronüümi järgi), treenitud 330 miljoni parameetrigaSelle kompaktne suurus ei tähenda jõudluse ohverdamist, kuna Microsofti sõnul saavutab see näitajaid, mis on väga lähedased palju suurematele mudelitele, näiteks Phip-3.5-miniSee tasakaal on saavutatud tänu rangele treeningprotsessile, mis on hõlmanud selliseid tehnikaid nagu Kahekihiline norm, Pöörlevad asendis kinnistused (köis) y Rühmitatud päringu tähelepanu (GQA) mis pakuvad tõhusust ja täpsust, eriti piiratud ressurssidega seadmetes.
Mudel kasutab ära a kodeerija-dekoodri arhitektuur trafo tüüpi, mis on võimeline töötlema kasutaja sisendit ja teisendama selle süsteemisiseste toiminguteks. Tänu sellele struktuurile, Mu eraldab sisend- ja väljundtöötluse, mida vähendab latentsust ja mälukasutust, põhipunktid sujuva ja ooteajavaba kasutuskogemuse tagamiseks.
Ametlikes testides ja andmetes on Mu tõestanud oma võimekust reageerida rohkem kui 100 žetoonile sekundis ja annavad vastuseid vähem kui 500 millisekundigaNeed numbrid võimaldavad praktiliselt koheseid interaktsioone isegi sätete muutmise või pikkade ja mitmekesiste päringute tõlgendamise puhul igapäevases keeles. Kui soovite nende mudelite toimimist lähemalt uurida, saate vaadata Keelemudelite võrdlused arvutis.
Integreerimine konfiguratsiooniagendiga ja praktilised funktsioonid
Mu esialgne maandumine on suunatud Windows 11 konfiguratsiooniagent, funktsioon, mis võimaldab kasutajatel süsteemi parameetreid saab reguleerida lihtsalt tippides või öeldes, mida vajaNäiteks küsi lihtsalt "Kuidas aktiveerida tume režiim?" o "Ma tahan heledust suurendada" et Mu saaks selle juhise süsteemis vastavaks tehniliseks toiminguks tõlkida.
Microsoft on rõhutanud, et tehisintellekt kohandub kümneid tuhandeid erinevaid kontekste ja päringuidTegelikult on neid kasutatud üle 100 000. 3,6 miljonit treeningnäidist et katta kõike alates kõige levinumatest päringutest – näiteks keele muutmine või WiFi-võrkude haldamine – kuni keerukamate ülesanneteni. Liiga lühikeste või mitmetähenduslike küsimuste korral kasutab süsteem traditsioonilised otsingufunktsioonid, aga kui juhis on selge ja detailne, tegutseb Mu automaatselt või juhendab kasutajat samm-sammult.
Uute põlvkondade riistvarale kohandatud tehnoloogia ja optimeerimine
La Mu optimeerimine on olnud selle arendusprotsessi üks hoolikamalt läbimõeldud punkte. Microsoft on teinud koostööd ränipartneritega, näiteks AMD, Intel ja Qualcomm et kohandada seda Copilot+ arvutites olevate uute NPU-de eripäradegaSee ühine töö on võimaldanud tutvustada koolitusjärgsed kvantifitseerimismeetodid, mis teisendavad mudeli kaalud ja aktivatsioonid 8- ja 16-bitisteks täisarvudeks, vähendades seeläbi mälukasutust ja vältides vajadust kogu mudelit ümber õpetada.
Mu treeningprotsess viidi läbi kõrgjõudlusega keskkondades, kasutades NVIDIA A100 graafikaprotsessorid jooksul Azure'i masinõpeAndmekogum sisaldas sadu miljardeid hariduslikke žetoone ja tehnikaid, näiteks destilleerimine Phi mudelitest ja madala ulatusega adaptatsioon (LoRA) teadmiste edastamiseks ja mudeli peenhäälestamiseks konkreetsete ülesannete jaoks. Lõpptulemuseks on väike ja paindlik mudel, mis on spetsiaalselt kohandatud tänapäevase kaasaskantava riistvara ressurssidele ja piirangutele. Samuti saate uurida, kuidas muuta oma arvuti kohalikuks tehisintellekti keskuseks oma süsteemi võimaluste laiendamiseks.
Praegused väljakutsed, kättesaadavus ja tulevikuväljavaated
Üks suurimaid väljakutseid, millega Mu silmitsi seisab, on ebamääraste või väga lühikeste päringute tõlgendamine, mis on loomulikul keelel põhinevates süsteemides levinud probleem. Selleks Microsoft on rakendanud hübriidloogikatKuigi lühikesed päringud käivitavad traditsioonilised otsingutulemused, käivitavad üksikasjalikumad juhised tehisintellekti sekkumise, kas kasutaja juhendamiseks või automatiseeritud toimingute tegemiseks.
Praegu Mu on saadaval ainult inglise keeles ja Copilot+ seadmetes Insideri kanali kaudu., kuigi eeldatakse, et seda laiendatakse lähikuudel rohkematele keeltele ja teistele seadmetele, sealhulgas AMD ja Inteli protsessoritega seadmetele. privaatsust ja turvalisust Arvestades töötlemise kohalikku iseloomu, mängivad need ka olulist rolli.
Mu juurutamine on alles Microsofti laiema strateegia algus, mille eesmärk on kaasata Kohalik tehisintellekt ja tõhusad keelemudelid veelgi rohkemates rakendustes ja operatsioonisüsteemi aspektides, parandades kogemust ja ligipääsetavust ilma jõudlust või privaatsust ohverdamata.
Olen tehnoloogiahuviline, kes on muutnud oma "nohikese" huvidest elukutse. Olen veetnud üle 10 aasta oma elust tipptehnoloogiat kasutades ja puhtast uudishimust igasuguste programmide kallal nokitsenud. Nüüd olen spetsialiseerunud arvutitehnoloogiale ja videomängudele. Seda seetõttu, et rohkem kui 5 aastat olen kirjutanud erinevatele tehnoloogia ja videomängude veebisaitidele, luues artikleid, mille eesmärk on anda teile vajalikku teavet kõigile arusaadavas keeles.
Kui teil on küsimusi, siis minu teadmised ulatuvad kõigest, mis on seotud nii Windowsi operatsioonisüsteemiga kui ka Androidiga mobiiltelefonidele. Ja ma olen pühendunud teile, olen alati nõus kulutama paar minutit ja aitama teil lahendada kõik küsimused, mis teil selles Interneti-maailmas tekkida võivad.