Продукт представляет собой роботизированный ассистивный комплекс с применением нейротехнологий для людей с ограниченными физическими возможностями. Комплекс в автоматическом режиме выполняет функции захвата, удержания и перемещения объектов в окружении пользователя с ограниченными возможностями.

Данный продукт предназначен для решения следующих задач:

• Определение типа, размера, координат объектов для захвата и перемещения их с помощью манипулятора
• Сегментация сцены с выделением предметов, с которыми можно оперировать манипулятором
• Классификация объектов интереса в том числе в условиях сложной фоно-целевой обстановки
• Сопоставление информации о сцене, получаемой от нескольких камер
• Реконструкция сцены в трехмерное представление с вычислением с приемлемой точностью координат объектов с которыми работает манипулятор
• Выбор оптимальных режимов выполнения захватов и перемещения объектов в зависимости от их типа и размеров
• Построение карт глубины как с помощью вариационных алгоритмов, так и с помощью нейронных сетей

Данный комплекс обладает следующей функциональностью:

• Фиксация внимания на объекте манипуляции
• Определение направления взгляда
• Фиксация окружающей обстановки
• Расчет точки фиксации взгляда пользователя на полученном изображении, распознавание объекта
• Выбор действия с распознанным объектом
• Распознавание на основе ЭЭГ или фиксации взгляда на одной из иконок на дисплее дополненной реальности
• Определение расстояния от головы до объекта и расстояния от роботизированной руки до объекта

Роботизированный ассистивный комплекс с применением нейротехнологий состоит из следующих компонентов:

• Манипулятор
• Приводной модуль
• Захватное устройство
• Интеллектуальная система управления на базе технического зрения
• Аппаратно-программный комплекс определения направления взгляда

Для оптимальной работы данного комплекса были разработаны технологии синтеза алгоритма оптимального выполнения захватов и перемещения объектов в зависимости от их типа, размеров, содержания и цели манипуляции и алгоритм определения направления взгляда.

Для изготовления компонентов использовалась собственная материально-техническая база (опытно-экспериментальное производство) лаборатории волновых процессов и систем управления. Использование универсального трехпальцевого концевого захвата является существенным отличием от других манипуляторов и позволяет взаимодействовать с различными типами предметов. Увеличенное количество степеней подвижности с имитацией манипулятивных возможностей руки человека. Малый вес и питание от автономной системы электроколяски (или кровати) в отличие от индустриальных манипуляторов, не предназначенных для мобильного использования.

Пример работы манипулятора можно посмотреть здесь Демо (рекомендуется запускать из-под Google Chrome на компьютере)

На страницу проекта