OpenAI готовит музыкальный ИИ, работающий с текстом и аудио.

OpenAI достижения в инструменте, который позволит сочинять музыку по текстовым подсказкам и аудиофрагментам, по данным ряда специализированных изданий. Идея заключается в том, что Любой пользователь может заказать мелодию, определенный стиль или определенное сопровождение и получить готовый к использованию результат..

Источники, цитируемые The Information и другими СМИ, говорят, что система может Добавляйте музыку к существующим видео или создавайте инструментальные треки для уже записанного вокала., например, гитарная линия, бас или ритмическая основа. Графика релизов нет. Пока не решено, будет ли он представлен как самостоятельный продукт или интегрирован в сервисы типа ChatGPT или видеоприложение Sora.

Что мы знаем о проекте

Инструмент, находящийся в разработке, будет принимать текстовые подсказки и аудиовходы для сгенерировать из фрагментов целые части согласно инструкциямНа практике он предназначен в качестве помощника, облегчающего аккомпанемент, аранжировку и музыкальную настройку без необходимости специальной подготовки.

Согласно имеющейся информации, OpenAI изучает Несколько режимов использования: создание с нуля, поддержка вокальных дорожек и звуковой дорожки для видеоТакой подход расширит охват создателей аудиовизуального контента, подкастеров и брендов, которые быстро ищут персонализированную музыку.

Возможные варианты использования и интеграции

Среди рассматриваемых применений источники упоминают создание специального аккомпанемента (например, гитар) и сочинение музыки для клиповВ коммерческой сфере рассматриваются рекламные кампании с персонализированным звуком и рабочими процессами, связанными с существующими креативными инструментами.

Другая возможность — интеграция с платформами OpenAI: Подключение к ChatGPT упростит взаимодействие на естественном языке., а соединение с Sora облегчило бы монтаж музыки, адаптированной к видеосценам, сгенерированным ИИ. Однако это пока гипотеза, не имеющая официального подтверждения.

Сотрудничество с Джульярдской школой и учебными данными

Одним из самых поразительных аспектов является сотрудничество со студентами Джульярдской школы, который будет аннотировать партитуры, предоставляя высококачественные данные. Эти аннотации включают в себя структуру, гармонию и выразительные нюансы, с целью обучения модели как музыкальной форме, так и замыслу.

Работа с аннотированными партитурами может обеспечить более структурированная база, чем просто использование аудиодорожек, помогая системе изучать прогрессии, динамику и оркестровку. Более того, этот подход направлен на снизить юридические риски в получении данных и улучшении согласованности создаваемых композиций.

Конкуренты и правовая база

Этот шаг поставит OpenAI в прямую конкуренцию с стартапы, такие как Suno и Udio, а также другие участники, использующие генеративные музыкальные модели (например, усилия Google или ElevenLabs). Тем временем, этот сектор находится под пристальным вниманием из-за недавних судебных исков, Они ставят под сомнение использование защищенного материала для обучения моделей..

В этом контексте появились сообщения от руководителя OpenAI о удобство этого правообладатели получают долю в доходахПока еще неизвестно, как будет реализован механизм компенсации, что является ключевым вопросом для европейской и мировой музыкальной индустрии.

Предыстория и технические проблемы

OpenAI уже протестировала генерацию музыки в 2020 году с помощью Jukebox., эксперимент, который не воплотился в коммерческий продукт. В последние годы компания сосредоточилась на Аудиомодели для преобразования текста в речь и речи в текст, и теперь он возвращается к музыке с большими амбициями.

Технические проблемы включают поддержание масштабная связность в композициях, качество данных и вычислительные затратыПрозрачность в отношении обучения и человеческого контроля на творческом этапе также будет иметь решающее значение для создания полезных произведений, которые будут приняты музыкантами и продюсерами.

Если проект окажется успешным, он может облегчить доступ к европейским и испанским деятелям искусства. Саундтреки и аранжировки по запросу по более низкой цене, хотя споры по вопросам интеллектуальной собственности, лицензирования и прослеживаемости продолжатся. Реакция отрасли будет зависеть от чётких соглашений и фактического качества демоверсий на момент их выпуска.

Статья по теме:

Мусор ИИ: что это такое, почему это важно и как с этим бороться

Альберто Наварро

Я энтузиаст технологий, который превратил свои «компьютерные» интересы в профессию. Я провел более 10 лет своей жизни, используя передовые технологии и возясь со всевозможными программами из чистого любопытства. Сейчас я специализируюсь на компьютерных технологиях и видеоиграх. Это потому, что более 5 лет я пишу статьи для различных сайтов, посвященных технологиям и видеоиграм, создавая статьи, которые стремятся дать вам необходимую информацию на понятном каждому языке.

Если у вас есть какие-либо вопросы, мои знания варьируются от всего, что связано с операционной системой Windows, а также Android для мобильных телефонов. И я предан вам, я всегда готов потратить несколько минут и помочь вам решить любые вопросы, которые могут у вас возникнуть в этом мире Интернета.