Экспертные заключения: 0
Консультации: 0

Nimble - система захвата и переноса мимики человека на 3D-персонажа в реальном времени

Проект направлен на решение актуальной проблемы кинопроизводства и мультипликации: автоматического захвата и переноса мимики человека на 3D-персонажа в реальном времени. Отечественных аналогов на рынке нет, а коммерческие решения не соответствуют требованиям качества кино- и мультпроизводства. Nimble - система захвата и переноса мимики человека на 3D-персонажа в реальном времени. Система состоит из двух частей: (1) шлем с камерой, подключенной к компьютеру и снимающей лицо человека, и (2) программное обеспечение, обрабатывающее получаемый видеопоток и отображающее 3D-анимацию персонажа в реальном времени. Система Nimble нацелена на использование в таких индустриях, как кино, мультипликация (3D-анимация), игровая индустрия, медиаиндустрия (в том числе - для создания интерактивных виртуальных театрализованных постановок). Пользователями системы Nimble являются средние и малые зарубежные и все отечественные кинокомпании, анимационные студии, студии визуальных эффектов. Цель проведения НИОКР - развитие существующих программных и аппаратных наработок с целью доведения системы до состояния полноценного коммерческого продукта, способного конкурировать с мировыми лидерами. На Этапе 1 планируется создание продукта для профессионалов кино, анимационной, игровой и медиаиндустрии. Результатом Этапа 1 станет продукт, способный давать максимальное качество и точность переноса мимики на компьютерного персонажа, но потребует наличия специального оборудования и нанесения специальных меток (маркеров) на лицо. На Этапе 2 планируется разработка системы, не требующей нанесения маркеров и наличия специального оборудования, которая будет доступна непрофессиональным пользователям для быстрого создания персонифицированного медиаконтента, а также сможет применяться в задачах виртуальной и дополненной реальности. Использование системы Nimble позволит: 1. получать, по сравнению с мировыми коммерческими аналогами, высокую точность переноса мимики реального человека на компьютерного персонажа, а также фотореалистичное качество видеоконтента в режиме реального времени, которое удовлетворяет требованиям производства кино и мультипликации; 2. создавать художественные фильмы с трудновыполнимыми трюками героев (замена каскадера на анимированного 3D-персонажа); 3. съемочной группе незамедлительно (как бы "в прямом эфире") видеть, каким будет анимированный 3D-персонаж и его мимика, а также вносить необходимые коррективы в процессе создания 3D-персонажа; 4. сокращать производственный цикл кинопроекта до 10 раз за счет экономии времени на анимацию 3D-персонажа (при ручной анимации удается создавать только 4-6 секунд видеоматериала в неделю, при использовании Nimble - до 60 секунд видеоматериала в неделю); 5. снижать стоимость производства и уменьшать затраты на содержание команды аниматоров (оборудование, покупка проф.программ, аренда помещения). Прототип системы Nimble успешно прошел тестирование на кинопроекте "Напарник" (премьера фильма состоится осенью 2017 года). В настоящий момент система Nimble привлечена для работы в кинопроекте "Конек-горбунок" - художественном фильме, в котором главными героями являются фотореалистичные компьютерные животные с перенесенной мимикой реальных актеров. По завершении финансовой поддержки дальнейшее развитие предлагаемого продукта будут производиться за счет выручки, полученной от продаж продукта.

Производитель: ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "СИДЖИФЭКТОРИ ИННОВАЦИИ"

Ссылка

На страницу проекта

Направление

IT