GestureTranslation System (GTS) — это автоматизированная система end-to-end для перевода аудиоречи в русский жестовый язык (РЖЯ) с трёхмерной визуализацией на аватаре. Система интегрирует четыре основных компонента: (1) автоматическое распознавание речи на базе OpenAI Whisper large-v3 с точностью 94.2% на русском языке; (2) многоуровневую лингвистическую обработку (лемматизация через spaCy, нормализация приставок, алгоритм Дамерау-Левенштейна для нечёткого поиска); (3) семантическое отображение слов на жесты из словаря на базе датасета SLOVO (1000 уникальных слов, 20.4k видеороликов, 194 носителя языка, извлечение 33 ключевых точек скелета через MediaPipe Pose); (4) интерполированную 3D-визуализацию жестов через Unity с синхронизацией по аудиопотоку. Решение адресует критическую проблему доступности информации для 13 млн человек с нарушением слуха в России и 70 млн в мире при остром дефиците профессиональных переводчиков жестовых языков. MVP с полным рабочим конвейером уже реализован; архитектура модульна и масштабируема для расширения словаря до 2-3k слов и интеграции с медиа-платформами, видеоконференцсистемами и государственными сервисами.

На страницу проекта