OpenAI 正在准备一款可以处理文本和音频的音乐 AI。

OpenAI 一种工具的进步将允许 根据文本提示和音频样本创作音乐根据几份专业出版物的说法。这个想法是 任何用户都可以请求一段旋律、一种特定的风格或一种特定的伴奏，并获得可立即使用的结果。.

据 The Information 和其他媒体援引的消息人士称，该系统可能 为现有视频添加音乐或为已录制的声音创建乐器曲目，例如吉他线、贝斯或节奏基础。 没有发布时间表 目前还未决定是否作为独立产品推出或集​​成到 ChatGPT 等服务 或视频应用程序 Sora。

我们对该项目的了解

正在开发中的工具将接受文本提示和音频输入 根据指令从碎片生成完整的碎片在实际场景中，它旨在作为一种助手，无需高级培训即可促进音乐伴奏、编曲和设置。

根据现有信息，OpenAI 正在探索 多种使用模式：从头开始创作，支持人声轨道和视频配乐这种方法将迅速扩大寻求定制音乐的视听创作者、播客和品牌的覆盖范围。

可能的用途和集成

在考虑的应用中，消息人士提到 生成特定的伴奏（例如吉他）并为剪辑创作音乐在商业领域，正在考虑将定制声音和工作流程与现有创意工具相结合的广告活动。

另一种可能性是与 OpenAI 平台集成： 与 ChatGPT 的连接将简化自然语言交互，而与 Sora 的连接则有助于编辑适合 AI 生成的视频场景的音乐。不过，目前这只是一个假设，尚未得到官方证实。

与茱莉亚学院合作并训练数据

最引人注目的一点是 与茱莉亚学院学生合作，他们将对乐谱进行注释，以提供高质量的数据。这些注释包括结构、和声以及表达的细微差别，旨在教会模型音乐形式和意图。

使用带注释的乐谱可以提供 比简单使用音轨更结构化的基础，帮助系统学习进行、动态和编曲。此外，这种方法旨在 降低法律风险 获取数据并提高生成的构图的一致性。

竞争对手和法律框架

此举将使 OpenAI 直接与 Suno 和 Udio 等初创公司以及其他拥有生成音乐模型的参与者（例如谷歌或ElevenLabs的努力）。与此同时，由于最近发生的诉讼，该行业正受到严格​​审查。 他们质疑使用受保护的材料来训练模型.

在此背景下，OpenAI 负责人透露 的便利性 权利人分享收入补偿机制将如何实现还有待观察，这是欧洲和全球音乐产业的一个关键问题。

背景和技术挑战

OpenAI 已于 2020 年使用 Jukebox 测试了音乐生成。，这项实验并未转化为商业产品。近年来，该公司专注于 文本转语音和语音转文本的音频模型如今他带着更大的抱负重返歌坛。

技术挑战包括维持 作品的大规模连贯性、数据质量和 计算成本创作阶段的培训和人工监督的透明度对于创作出被音乐家和制作人接受的有用作品也至关重要。

如果该项目成功，它将有利于接触欧洲和西班牙的创作者。 以较低的成本按需提供配乐和编曲尽管围绕知识产权、许可和可追溯性的争论仍将持续存在，但业界的反应将取决于明确的协议以及演示版本发布时的实际质量。