Предлагаемый проект поможет решить проблему коммуникации людей с нарушением слуха и речи с остальным обществом. Коммуникация между глухонемыми людьми осуществляется с помощью языка жестов, который остальное население не знает, за исключением близких людей и соц работников. Т.е. мы имеем проблемы полноценной интеграции людей с нарушением слуха и речи, например общение глухонемых и людей без проблем со слухом и речью, посещение глухонемых социально значимых объектов (больниц, поликлиник, МФЦ, госучреждений или частных предприятий, мест торговли и т.д.), в которых практически нет сотрудников владеющих языком жестов.

В проекте предлагается мобильное и десктопное приложение считывающее язык жестов и переводящие его в текст или речь, что позволит людям со здоровым слухом и речью понимать и свободно общаться с глухонемыми. В основе проекта лежит нейросеть способная распознавать язык жестов, приложение выполняется в двух видах: мобильное для сматфонов и десктопное для стационарных компьютеров. При использовании мобильной версии пользователь наводит камеру смартфона на глухонемого и происходит считывание жестов и перевод их в текст, при использовании десктопной версии на компьютере должна быть установлена обычная вебкамера (ноутбуки и моноблок практически всегда ими оснащены), которая также направлена на глухонемого и переводит язык жестов в текст.

Идея проекта основана на построении нейросети и технологии машинного обучения. Конечным продуктом вляется мобильное приложение и приложение для персональных компьютеров

На страницу проекта