Краткое описание:
Проект направлен на создание интеллектуальной системы, которая позволит управлять компьютером с помощью взгляда и голоса. Разрабатываемая технология объединяет анализ движения глаз и распознавание речи, что делает цифровое взаимодействие более доступным для людей с ограниченными возможностями и способствует развитию инклюзивных решений в сфере ИТ.
На первом этапе команда создаёт программный прототип на базе обычной веб-камеры и микрофона, использующий методы компьютерного зрения и искусственного интеллекта. Система сможет отслеживать направление взгляда, реагировать на голосовые команды и выполнять простые действия на экране без участия рук.

Проблема:
Согласно открытым источникам (ТАСС, 2024: https://tass.ru/nauka/18412511; Такие дела, 2017: https://takiedela.ru/news/2017...; Osp.ru, 2016: https://www.osp.ru/cw/2016/06/...; GBS СПб и другие), в России отсутствуют массово доступные и технологически зрелые решения, обеспечивающие управление компьютером при тяжёлых нарушениях двигательных функций. Существующие отечественные проекты носят экспериментальный характер, тогда как основная часть доступных средств — зарубежные разработки, требующие адаптации к русскоязычной среде и отечественным операционным системам.
Из-за этого многие люди с ограниченными возможностями лишены возможности работать, обучаться и общаться в цифровом пространстве. Для них компьютер остаётся недоступным инструментом, хотя именно он мог бы стать средством коммуникации, самореализации и социализации.
Проект направлен на решение этой проблемы путём создания отечественной интеллектуальной системы, которая позволит управлять компьютером с помощью взгляда и речи, без участия рук. Это обеспечит доступ к цифровым технологиям людям с тяжёлыми двигательными нарушениями и повысит их качество жизни, уровень самостоятельности и вовлечённости в общественную жизнь.

Целевая аудитория:
Люди с ограниченными возможностями здоровья, прежде всего — с параличом, ДЦП и другими нарушениями моторики, которые не могут пользоваться компьютерной мышью и клавиатурой. Для них проект откроет возможность взаимодействовать с компьютером при помощи взгляда и речи, что повысит их уровень самостоятельности и социальной интеграции.
Организации, занимающиеся реабилитацией и обучением людей с инвалидностью — центры реабилитации, инклюзивные образовательные учреждения, НКО. Разработанная технология может стать инструментом для обучения и дистанционного взаимодействия с подопечными.

Основная цель проекта:
Цель проекта — разработка доступной интеллектуальной системы, позволяющей людям с ограниченными возможностями здоровья полноценно пользоваться персональным компьютером с помощью взгляда и речи. Технология объединяет методы компьютерного зрения и распознавания речи, обеспечивая равный доступ к цифровым ресурсам, обучению и профессиональной деятельности.

Опыт успешной реализации проекта:
Разработка web-приложения "РКЦ" (Реанимационно консультативный центр) на базе ГАУЗ "ДРКБ" МЗ РБ

Перспектива развития и потенциал проекта:
Разработанное программное обеспечение является «цифровым активом» и может быть доработано (использоваться как система глубоко погружения в игры для геймеров)

На страницу проекта