В Deezer разработали систему искусственного интеллекта, которая определяет музыкальное настроение песни

Исследователи из Deezer разработали систему искусственного интеллекта, способную связывать определенные песни с настроением и интенсивностью.

Работа описана в недавно опубликованной статье на Arxiv.org под названием «Обнаружение музыкального настроения на основе аудио-текстов с глубокими нейронными сетями».

Чтобы определить музыкальное настроение песни, команда исследовала как музыку, так и текст. Для начала они подавали аудиосигналы в нейронную сеть вместе с моделями, которые воссоздавали языковые контексты слов. Затем, чтобы научить искусственный интеллект (ИИ) определять настроение песни, они использовали сервис Million Song Dataset (MSD), который представляет собой коллекцию метаданных для более чем 1 миллиона современных песен. В частности, они использовали набор данных Last.fm, который присваивает идентификаторы трекам из более чем 500000 уникальных тегов. Многие из этих тегов связаны с настроением, и более 14000 английским словам из этих тегов были даны два вида состояний, сопоставляющих как отрицательное или положительное слово, так и то, насколько спокойным или энергичным является слово для обучения системы.

База данных Million Song содержит всего лишь метаданные песен, а не сами песни, поэтому команда затем объединила всю эту информацию в каталог Deezer с использованием ID, таких как названия песен, имена артистов и названия альбомов. Около 60 процентов результирующего набора данных (18644 трека) использовалось для обучения ИИ, а остальное использовалось для проверки и дальнейшего тестирования системы.

Почитайте еще:   Искусственный интеллект предсказывет богатство из космоса

В конце концов, исследователи пришли к выводу, что ИИ лучше обнаруживает спокойную или энергичную песня, чем более традиционные подходы, которые не использовали ИИ, и выполняли примерно то же самое, когда дело доходило до определения того, была ли песня позитивной или негативной. «Похоже, что этот прирост производительности является результатом способности нашей модели раскрывать и использовать корреляции между музыкой и текстом», – пишут исследователи в статье.

В документе отмечается, что «база данных с синхронизированными текстом и музыкой будет очень полезной для дальнейшего продвижения». Если такая база данных будет существовать, то команда полагает, что они смогут более точно определять двусмысленность в настроение треков. В конечном счете, исследователи считают, что такая работа рассматривается как способ дальнейшего изучения того, как соотносятся музыка, текст и настроение, а также возможность того, что модели глубокого обучения могли сортировать и находить немаркированные данные в большом объеме.

Это далеко не первый раз, когда Deezer пытался использовать ИИ, чтобы сортировать музыку. В прошлом году на фестивале Sónar возникла заминка при ответе на вопрос: «Когда пользователь дома, как мы можем определить контекст, в котором он слушают музыку, и рекомендовать соответствующую музыку?» Deezer теоретически может использовать этот тип машинного обучения и в будущем автоматически сортировать и каталогизировать музыку не только с базовыми метаданными, такими как имя исполнитель или жанр музыки, но по таким нюансам, как настроение.

Поделиться в facebook
Поделиться в twitter
Поделиться в vk
Поделиться в whatsapp
Поделиться в pinterest
Поделиться в email