Программная платформа, позволяющая роботу воспринимать окружающую среду по данным сенсоров с помощю VLM моделей, учитывать поставленную задачу, память и выдавать управляющие команды для выполнения действий и обучаться навыкам в процессе работы.

Проект нацелен на снижение сложности и стоимости внедрения робототехнических решений в практические производственные сценарии (производство, склад, сервис). Сейчас для каждой новой задачи требуется создание нового устройства либо существенная доработка имеющегося, длительная настройка и отладка. Предлагаемая система делает управление более универсальным: одна и та же логика работы может применяться к разным работам через единый формат команд и подключаемые адаптеры.

В ходе работы над проектом планируется создать MVP платформы. В качестве демонстрации будет подготовлен сценарий, где агент(робот) выполняет типовые действия (поиск объекта, перемещение, взаимодействие) в контролируемой среде, а затем показана возможность расширения его навыков.

Основные технические параметры:

• Тип продукта: программная платформа для автономного управления роботом.
• Входные данные: сенсорные данные (видеопоток/дальномер), сила нажима и текущий контекст (состояние, события, ограничения).
• Выходные данные: управляющие команды в унифицированном формате для последующей трансляции в команды управления конкретного робота.
• Архитектура: модуль восприятия, модуль принятия решений, модуль памяти и накопления опыта, модуль управления роботами.
• Память опыта: накопление и использование прошлых успешных ситуаций/траекторий для повышения устойчивости и ускорения выполнения задач.
• Режим работы: непрерывный цикл из получения данных, принятия решения и действия в реальном/близком к реальному времени.

Оборудование используемое в проекте:

• Персональные компьютеры/ноутбуки для разработки, запуска и тестирования.
• Вычислительные ресурсы для обучения/использования моделей (локальные GPU или облачные решения по необходимости).
• Робототехническая платформа для демонстрации (мобильный робот и/или робот-манипулятор).
• Сенсорное оборудование робота: RGB-камера, Lidar по необходимости; тензодатчики.
• Средства связи и управления: контроллер робота, сетевое подключение (Wi-Fi/USB/Ethernet) для обмена данными и командами.

На страницу проекта