OpenAI 正在準備一款可以處理文字和音訊的音樂 AI。

OpenAI 一種工具的進步將允許 根據文字提示和音訊樣本創作音樂根據幾份專業出版品的說法。這個想法是 任何使用者都可以要求一段旋律、特定的風格或特定的伴奏，並獲得可立即使用的結果。.

據 The Information 和其他媒體引述的消息人士稱，該系統可能 為現有影片添加音樂或為已錄製的聲音創建樂器曲目，例如吉他線、貝斯或節奏基礎。 沒有發佈時間表 目前還未決定是否作為獨立產品推出或組合到 ChatGPT 等服務 或視訊應用程式 Sora。

我們對該項目的了解

正在開發中的工具將接受文字提示和音訊輸入 根據指令從碎片產生完整的碎片在實際場景中，它旨在作為一種助手，無需高級培訓即可促進伴奏、編曲和音樂設置。

根據現有信息，OpenAI 正在探索 多種使用模式：從頭開始創作，支援人聲軌和影片配樂這種方法將迅速擴大尋求客製化音樂的視聽創作者、播客和品牌的覆蓋範圍。

可能的用途和集成

在考慮的應用中，消息人士提到 產生特定的伴奏（例如吉他）並為剪輯創作音樂在商業領域，正在考慮將客製化聲音和工作流程與現有創意工具結合的廣告活動。

另一種可能性是與 OpenAI 平台整合： 與 ChatGPT 的連接將簡化自然語言交互，而與 Sora 的連接則有助於編輯適合 AI 生成的視訊場景的音樂。不過，目前這只是一個假設，尚未得到官方證實。

與茱莉亞學院合作並訓練數據

最引人注目的一點是 與茱莉亞學院學生合作，他們將對樂譜進行註釋，以提供高品質的數據。這些註釋包括結構、和聲以及表達的細微差別，旨在教導模型音樂形式和意圖。

使用註釋的樂譜可以提供 比簡單使用音軌更結構化的基礎，幫助系統學習進行、動態和編曲。此外，這種方法旨在 降低法律風險 獲取數據並提高生成的構圖的一致性。

競爭對手和法律框架

此舉將使 OpenAI 直接與 Suno 和 Udio 等新創公司以及其他擁有生成式音樂模型的參與者（例如Google或ElevenLabs的努力）。與此同時，由於最近的訴訟，該行業正受到嚴格審查。 他們質疑使用受保護的材料來訓練模型.

在此背景下，OpenAI 負責人透露 的便利 權利人分享收入補償機制將如何實現還有待觀察，這是歐洲和全球音樂產業的關鍵問題。

背景和技術挑戰

OpenAI 已於 2020 年使用 Jukebox 測試了音樂生成。，這項實驗並未轉化為商業產品。近年來，該公司專注於 文字轉語音和語音轉文字的音訊模型如今他帶著更大的抱負重返歌壇。

技術挑戰包括維持 作品的大規模連貫性、數據品質和 計算成本創作階段的培訓和人工監督的透明度對於創作音樂家和製作人接受的有用作品也至關重要。

如果該計畫成功，它將有利於接觸歐洲和西班牙的創作者。 以較低的成本按需提供配樂和編曲儘管圍繞知識產權、許可和可追溯性的爭論仍將持續存在，但業界的反應將取決於明確的協議以及演示版本發佈時的實際品質。