- Mu 是微軟新的小型語言模型，針對在配備 NPU 的 Windows 11 裝置上本地運行進行了最佳化。
- 它的初始整合是在 Windows 11 設定代理程式中完成的，允許使用自然語言進行調整。
- Mu 因其效率和速度而脫穎而出，憑藉其 100 億個參數，每秒可達到 330 多個代幣。
- 它包括 Dual LayerNorm、RoPE 和 GQA 等創新，並使用先進的流程和高品質的教育數據進行訓練。
到來了 Mu，由 Microsoft微軟，標誌著目前將人工智慧直接置於用戶設備上的趨勢邁出了重要一步。其目的是 減少對雲端的依賴 並利用 神經處理單元（NPU），Mu 被整合到 副駕駛+電腦 跑步 窗戶11，最初重點關注 設置應用 使用簡單的自然語言來方便存取和修改系統參數。
這項進步意味著，我們不再需要向外部伺服器發送查詢， 處理和響應在設備本身上生成，確保更高的隱私性、靈活性和效率。目前， 此次推出的目標客戶是擁有 Copilot+ 電腦的 Windows Insider 計畫參與者。儘管預計這項技術將在未來的更新中擴展到更多用戶和功能。
Mu 到底是什麼？它有何突出之處？
Mu 是 小語言模型 (SLM（以英語發音） 使用 330 億個參數進行訓練其緊湊的尺寸並不意味著犧牲性能，因為根據微軟的說法，它的性能非常接近更大的型號，例如 Phip-3.5-迷你這種平衡的實現得益於嚴格的訓練過程，其中包括以下技術： 雙層範數, 旋轉位置嵌入 (RoPE) y 分組查詢注意 (GQA) 提供效率和精度，特別是在資源有限的設備中。
該模型利用 編碼器-解碼器架構 屬於Transformer類型，能夠處理使用者輸入並將其轉換為系統內的操作。得益於這種結構，Mu 分離輸入和輸出處理， 什麼 減少延遲和記憶體消耗，關鍵點以確保流暢、無等待的使用者體驗。
在官方測試和數據中，Mu 已經證明能夠 每秒回應超過 100 個令牌 並在 500 毫秒內提供回應這些數字支援幾乎即時的交互，即使是修改設定或用日常語言解釋冗長而複雜的查詢。如果您想深入了解這些模型的工作原理，可以查看 PC 上語言模型的比較.
整合到配置代理和實用功能
Mu 的首次登陸點位於 Windows 11 設定代理，該功能允許用戶 只需輸入或說出他們需要的內容即可調整系統參數。例如，只需詢問 “如何啟動黑暗模式？” o “我想增加亮度” 以便 Mu 可以將此指令轉化為系統內對應的技術動作。
微軟強調，人工智慧將適應 數以萬計的不同上下文和查詢事實上，已使用的數量已超過10萬個。 3,6萬個訓練樣本 涵蓋從最常見的請求（例如更改語言或管理 Wi-Fi 網路）到更複雜的任務。對於太短或含糊不清的問題，系統會使用 傳統搜尋功能但當指令清晰詳細時，Mu 會自動採取行動或逐步引導使用者。
適應新一代硬體的技術和優化
La Mu 最佳化 一直是其開發過程中最值得深思的要點之一。微軟與矽片合作夥伴合作，例如 AMD、英特爾和高通 使其適應 Copilot+ PC 中新 NPU 的特性這項聯合工作使得引入 訓練後量化技術，將模型權重和激活轉換為 8 位元和 16 位元整數，從而減少記憶體消耗並避免重新訓練整個模型。
Mu 的訓練過程是在高性能環境中進行的，使用 NVIDIA A100 GPU 內 Azure機器學習數據集包括 數千億教育代幣 以及諸如 從 Phi 模型中提煉 以及低範圍自適應 (LoRA) 來遷移知識並針對特定任務微調模型。最終結果是一個小型、靈活的模型，非常適合現代可穿戴硬體的資源和限制。您還可以探索如何 將您的 PC 變成本地 AI 中心 擴展系統的功能。
當前的挑戰、可用性和未來前景
Mu 面臨的最大挑戰之一是 解釋模稜兩可或非常簡短的查詢這是自然語言系統中常見的問題。為此， 微軟已經實作了混合邏輯雖然簡短的查詢會觸發傳統的搜尋結果，但更詳細的指令會觸發人工智慧幹預，以指導使用者或執行自動操作。
現在， Mu 僅提供英文版本，並可透過 Insider 頻道在 Copilot+ 裝置上使用。，儘管預計未來幾個月它將擴展到更多語言和其他設備，包括那些採用 AMD 和英特爾處理器的設備。 隱私和安全 考慮到加工的本地性質，它們也發揮著重要作用。
Mu 的部署只是微軟更廣泛策略的開始，旨在 本地人工智慧和高效的語言模型 在更多應用程式和作業系統方面，在不犧牲效能或隱私的情況下改善體驗和可訪問性。
我是一名技術愛好者，已將自己的“極客”興趣變成了職業。出於純粹的好奇心，我花了 10 多年的時間使用尖端技術並修改各種程序。現在我專攻電腦技術和電玩遊戲。這是因為五年多來，我一直在為各種技術和視頻遊戲網站撰寫文章，力求以每個人都能理解的語言為您提供所需的資訊。
如果您有任何疑問，我的知識範圍涵蓋與 Windows 作業系統以及手機 Android 相關的所有內容。我對您的承諾是，我總是願意花幾分鐘幫助您解決在這個網路世界中可能遇到的任何問題。