Нейросеть Сбера SymFormer представит музыкальную импровизацию на концерте ВЭФ-2023

Во Владивостоке 10 сентября состоится первый в мире концерт, солировать в котором будет система искусственного интеллекта. Об этом сообщает пресс-служба Сбера.

Симфонию № 1, написанную музыкантом и композитором Петром Дрангой и получившую название «Космос», нейросеть от Сбера исполнит вместе с Большим симфоническим оркестром на Приморской сцене Мариинского театра. Концерт пройдёт в рамках культурной программы VIII Восточного экономического форума.

Симфония № 1 для искусственного интеллекта и Большого симфонического оркестра написана в классической структуре и состоит из четырёх частей. В первой и второй частях солирующую партию исполнят музыканты-виртуозы из Китая, будут звучать заранее записанные партии. В них нейросетевая модель от Сбера SymFormer будет управлять экспрессивностью исполнения непосредственно на сцене с помощью виртуального синтезатора. В третьей и четвёртой частях зрители услышат настоящую импровизацию от SymFormer в режиме реального времени.

Пётр Дранга предложил нейросети переосмыслить симфонию, изменяя и дополняя её. Так искусственный интеллект стал полноценным участником творческого процесса и соавтором композиции. Этот уникальный проект демонстрирует передовые технологии и разработки в сфере искусственного интеллекта, созданные в России.

Дополнительный элемент выступления – арт-объект, символизирующий нейромузыканта, – техно-матрёшка. Центром музыкальной инсталляции станет SberBoom – мощная умная колонка с виртуальным ассистентом Салют. Она продемонстрирует гостям мероприятия, насколько технологии ИИ глубоко проникли в сферу творчества и искусства.

SymFormer – модель для генерации музыкальных произведений, основанная на принципе рассмотрения музыки в качестве нотного текста. Она разработана на основе архитектуры Performer. Для обучения SymFormer использовалась платформа ML Space на базе суперкомпьютера Christofari и датасета из более чем 200 тысяч композиций разных стилей: от классики до современной электронной музыки и рока. Создание музыкальных композиций при помощи SymFormer происходит в два этапа. Вначале нейросеть получает информацию о стиле и генерирует несколько вариантов структуры будущей композиции. На втором этапе создаётся несколько вариантов произведения, соответствующих заданному стилю. Затем модель-ранжировщик выбирает, какие из вариантов наиболее удачны и максимально соответствуют описанию стиля и структуры композиции.