Нейросетевая система голосовой навигации и описания окружающей среды

Цель проекта — разработка и тестирование нейросетевой технологии, способной в реальном времени распознавать визуальную информацию и преобразовывать её в голосовое сопровождение. Технология должна обеспечить пользователю возможность безопасно ориентироваться в пространстве, идентифицировать объекты, читать надписи и взаимодействовать с окружающей средой без посторонней помощи.

Идея проекта заключается в создании универсальной нейросетевой технологии, способной распознавать визуальную информацию из окружающей среды и преобразовывать её в голосовые подсказки для слепых и слабовидящих пользователей. В отличие от отдельных решений с ограниченным функционалом (например, экранных дикторов или навигаторов), проект нацелен на создание полноценной интеллектуальной системы, которая может в реальном времени описывать объекты, действия, надписи и пространственное расположение элементов.

В технической основе — алгоритмы компьютерного зрения и глубокого обучения, позволяющие обрабатывать видео с камер мобильного устройства или умных очков. Нейросеть будет обучена на локализованных наборах данных, включающих российскую инфраструктуру, уличную среду, тексты на русском языке и социально значимые сценарии. Модель сможет озвучивать пользователю: кто или что находится перед ним, какие надписи или знаки присутствуют, как двигаться безопасно в выбранном направлении, и даже фиксировать изменения в обстановке (например, появление препятствий или открытие двери).

На страницу проекта