Идея проекта: создать приложение, которое будет выполнять перевод с русского жестового языка на вербальный язык с помощью технологий компьютерного зрения и нейронных сетей.

Цель проекта: создать работающий прототип приложения, провести открытое тестирование.

Задачи проекта:

1. собрать датасет;
2. обучить модель на предоставленном датасете;
3. интегрировать модель в приложение;
4. добавить модель для перевода с эмбеддингов в текст;
5. изучить конкурентов;
6. изучить рынок;
7. выбор формата интеграции;
8. проработка бизнес-модели и каналов монетизации;
9. просчитать экономику приложения;
10. проработка каналов выведения приложения на рынок;

Ожидаемые результаты:

1. создано работающее приложение;
2. определена бизнес модель и канал привлечения клиентов;
3. приложение выложено в открытый доступ

Связь с НПТЛ: Проект представляет собой программный комплекс на базе компьютерного зрения и нейронных сетей, предназначенный для распознавания динамических жестов (языка тела) и их преобразования в текст или синтезированную речь. В структуре национальных проектов технологического лидерства (НПТЛ) данная разработка соответствует НП № 9 «Новые технологии сбережения здоровья»

• Уровень 2: Ассистивные цифровые технологии, средства реабилитации и абилитации людей с ограниченными возможностями здоровья (ОВЗ).
• Уровень 3: Аппаратура видеонаблюдения и аудиомониторинга (п. 10.23.1); Датчики и преобразователи физических величин (в контексте видеоаналитики — п. 10.18.1).

Обоснование: Проект направлен на устранение коммуникационного барьера между носителями русского жестового языка и слышащим окружением. Создание программного переводчика является развитием направления ассистивных технологий, позволяя людям с нарушениями слуха полноценно интегрироваться в социальную и профессиональную жизнь. Это напрямую соотносится с задачами обеспечения равного доступа к информации и услугам через высокотехнологичные медицинские изделия класса реабилитационной инженерии.

На страницу проекта