Исследование кросс-модальной согласованности эмоций в аудио-управляемых моделях генерации говорящих лиц
Здравствуйте!
Я готовлю магистерскую диссертацию в МФТИ по направлению науки о данных и ищу рецензента для её оценки (я подготовлю заготовку для рецензии к 12 мая, но вы сможете ее редактировать на свое усмотрение). Крайний срок рецензии 22 мая.
Согласно регламенту университета, кандидатура рецензента должна быть предварительно одобрена. Если Вы согласны рассмотреть мою работу, пожалуйста, предоставьте следующие данные:
- Фамилия, имя, отчество
- Резюме
- Учёная степень и/или учёное звание
- Контактная информация (email и/или номер телефона)
Краткое описание диссертационной работы:
Название: Исследование кросс-модальной согласованности эмоций в аудио-управляемых моделях генерации говорящих лиц
Цель: Разработать и валидировать кросс-модальную функцию потерь, которая обеспечивает согласованность эмоций между аудиовходом и видеовыходом в моделях Wav2Lip и SadTalker без существенного снижения качества синтеза.
Методология:
- Обучение мультимодальных энкодеров эмоций (видео и аудио) на датасете RAVDESS
- Разработка кросс-модальной функции потерь
- Файнтюнинг Wav2Lip и SadTalker с новой функцией потерь
- Оценка по метрикам: согласованность F1 эмоций, стабильность реконструкции видео
- Валидация на независимом классификаторе
Ожидаемый результат: Статистически значимое улучшение кросс-модальной согласованности без деградации качества синтеза.
Благодарю за внимание и надеюсь на позитивный ответ.
Вконтакте