Проект «Виртуальный ансамбль»

Данный проект представляет собой кроссплатформенное приложение для ПК (ОС: Windows, Linux, MacOS) и смартфонов (android), предполагающую интеграцию технологий AR и машинного обучения.

Описание работы программы:

После запуска программы пользователь выбирает один из режимов: "игра на музыкальном инструменте" или "вокал".

1. «Игра на музыкальном инструменте»

Режим «игра на музыкальном инструменте» подразумевает то, что пользователь будет играть на музыкальном инструменте (или же одновременно и играть, и петь). Далее ему необходимо указать инструмент, на котором он будет играть, выбрать желаемый темп композиции, длину «сессии», а после воспользоваться одной из 3-ёх опций: «полная импровизация», «выбор жанра» и «выбор музыкальных инструментов».

«Полная импровизация» представляет собой режим, при котором программа сама решает, в каком жанре и какими инструментами она будет аккомпанировать игроку. Этот режим подходит в тех случаях, когда пользователь хочет поэксперементировать и испытать свои таланты в полной импровизации, т.е в режиме неизвестности.

Опция «выбор жанра» предоставляет пользователю возможность выбрать из перечня жанров именно тот, в котором он желает играть. Здесь программа также сама подбирает инструменты для будущей композиции, но уже исходя из особенностей жанра, который предпочёл пользователь. Например, если пользователь выбрал жанр «гранж» (один из поджанров рока), то в перечень инструментов могут войти электрогитара и бас с дисторшном, а также мощные барабаны.

Опция «выбор музыкальных инструментов» предоставляет игроку возможность выбрать музыкальные инструменты из предложенного перечня. Т.е. при выборе этого режима эффекта неожиданности не будет: пользователь заранее знает, какие инструменты будут ему аккомпанировать.

Теперь пользователю осталось выбрать режим самого «джем сейшна». Тут также возможны 3 варианта:

1.  AR режим, когда пользователь располагается перед веб камерой (или же перед камерой смартфона/планшета), и в процессе игры рядом с ним появляются виртуальные персонажи, играющие на тех музыкальных инструментах, которые будут участвовать в аккомпанементе. Вся импровизация, при желании пользователя, будет записана на камеру.
2.  Простой видеорежим. Пользователь также сможет записать себя на камеру, но на экране не будет виртуальных музыкантов.
3.  Аудиорежим. Не предполагает запись процесса на камеру. Программа будет аккомпанировать игроку без видеосопровождения. Предусмотрена возможность записи аудио.

2. «Вокал»

Данный режим предполагает, что пользователь не будет играть на музыкальном инструменте, а будет просто петь. Далее подразумевается такой же порядок действий, как и в режиме "игра на музыкальном инструменте", за исключением того, что пользователь не указывает свой музыкальный инструмент.

«Джем сейшн» (сам процесс импровизации):

После того, как пользователь произвёл подготовку и выбрал все подходящие для него режимы, начинается сам процесс импровизации. Сначала начинает играть метроном в темпе, указанном ранее пользователем (метроном не будет записываться на видео и аудио в рамках программы, чтобы не портить композицию – он играет исключительно для удобства. Если же аккомпанемент предполагает наличие ударных инструментов, то они выступают как замена метроному). В первые 10-15 секунд пользователь играет/поёт под метроном/ударные – за это время пользователь успевает вступить, вжиться в роль, а нейросеть успевает распознать гармонию и тональность (в которых играет/поёт пользователь), после чего, в игру вступают все остальные инструменты. Сессия длится столько, сколько пользователь указал при настройке. Также пользователь, при желании, может закончить сессию преждевременно.

Некоторые технические подробности:

Проект предполагает создание самого приложения и внедрения в него нейросети, в которую будет загружено множество музыкальных семплов (небольших оцифрованных звуковых фрагментов).

Нейросеть должна быть обучена:

1. Распознавать тональность и гармонию мелодии/вокала, исходящих от пользователя, а также играть музыку в заданном темпе;
2. При выборе «полной импровизации» принимать решение, какие из инструментов включить в импровизацию, а также красиво сочетать партии различных музыкальных инструментов;
3. Понимать, какие инструменты актуальны для того или иного жанра (и, соответственно, при выборе пользователем определённого жанра, делать правильный выбор инструментов и их партий)

и т.д.

Ценность проекта:

Данный проект является эксклюзивной задумкой, не имеющей аналогов ни в России, ни в мире. Следовательно, этот проект может привлечь внимание пользователей со всего земного шара.

Данная программа может:

1. Предоставить возможность заниматься импровизацией тем музыкантам, которые не имеют возможности практиковаться с реальными людьми;
2. Поспособствовать развитию у пользователей музыкального воображения и творческого потенциала;
3. Помочь начинающим музыкантам отыскать новые идеи для их будущих аранжировок;
4. Помочь авторам стихотворений, не умеющим играть на музыкальных инструментах, но желающих создать песню на основе их текста, сделать это самостоятельно без каких-либо усилий;
5. Послужить развитию музыкальной индустрии в целом. Помимо того, что программа может поспособствовать возникновению вдохновения у многих людей, она также предполагает создание нового творческого видео и аудиоконтента;
6. Послужить в образовательных целях: благодаря ей, пользователи смогут узнать о жанрах, музыкальных инструментах, а также захотеть подробнее узнать о том, что такое темп, тональность, гармония и т.д. (так как именно на этом строится логика работы всей программы).
7. Послужить пользователям (в независимости от того, музыканты они или нет) в развлекательных целях.

На страницу проекта