Система «ПромЖест» распознаёт жесты рук оператора с помощью промышленной камеры и транслирует их в управляющие команды для промышленного оборудования и коллаборативных роботов (коботов). В отличие от офисных аналогов, система адаптирована для условий производственного цеха: учитывает запыленность, переменное освещение, наличие средств индивидуальной защиты (перчатки). Движения рук в заданной рабочей зоне преобразуются в команды перемещения манипулятора, смены инструмента, захвата/освобождения детали, подтверждения операций и аварийной остановки. Проект включает архитектуру обработки видео с калибровкой под производственный фон, защиту от ложных срабатываний, а также протокол оценки эффективности по критериям безопасности, скорости обучения оператора и надежности распознавания в условиях индустриальных помех.

Цель проекта
Разработать и валидировать устойчивую, безопасную и интуитивно понятную систему бесконтактного жестового управления промышленными роботами на базе технического зрения, обеспечивающую снижение времени переналадки оборудования и повышение эргономики рабочего места оператора в условиях действующего производства.

Задачи проекта

1. Спроектировать архитектуру системы: захват видео с индустриальной камеры, трекинг кистей рук (с учетом перчаток), фильтрацию производственных помех, нормализацию координат относительно рабочей зоны робота и генерацию управляющих сигналов для ПЛК/робота.
2. Реализовать модель технологических жестов: «захват/отпустить» (сжатие кулака/разжатие), «смена инструмента» (свайп влево/вправо), «подтверждение/стоп» (жест «стоп-ладонь»), «аварийная остановка» (скрещенные руки), управление перемещением (движение раскрытой ладони).
3. Обеспечить промышленную надежность: разработать алгоритмы фильтрации шумов (медианная фильтрация, компенсация вибраций), калибровки под фоновые объекты, защиту от распознавания посторонних лиц и предметов, попадающих в кадр.
4. Создать модуль интеграции с промышленными контроллерами (протоколы Modbus TCP, OPC UA) и коллаборативными роботами (ROS-интерфейс) для передачи команд в реальном времени.
5. Разработать графический интерфейс наладчика (HMI) для визуализации распознанных жестов, настройки зон интереса (ROI), калибровки чувствительности и логирования событий.
6. Провести экспериментальные испытания на реальном производственном участке или полигоне: измерить latency (задержку управления), вероятность ложных срабатываний, время освоения системы оператором (кривая обучения), собрать обратную связь.
7. Подготовить промышленную сборку и комплект документации, включая руководство по интеграции в существующие линии ГАП.

Проект посвящен созданию инновационной системы управления промышленным оборудованием без использования физических пультов и сенсорных панелей. Система использует специализированные промышленные камеры для отслеживания движений рук оператора в защищенной зоне и преобразования их в команды для роботов-манипуляторов. Основная идея проекта заключается в предоставлении естественного и безопасного способа взаимодействия человека и робота (HRC — Human-Robot Collaboration), который может быть востребован на современных гибких производствах, где требуется частая смена задач и быстрое вмешательство оператора.

Актуальность проекта обусловлена ростом доли коллаборативной робототехники на производствах и необходимостью сокращения времени на программирование и переналадку роботов. Традиционные пульты (джойстики, кнопочные панели) требуют времени на взятие в руки, освоение и часто нестерильны. В условиях частой смены номенклатуры изделий (мелкосерийное производство) оператору приходится сотни раз подходить к пульту, что снижает эффективность. Система «ПромЖест» позволяет отдавать команды роботу интуитивно, не отвлекаясь от визуального контроля рабочей зоны. Также система востребована на «чистых» производствах (микроэлектроника, фармацевтика), где недопустимо касание поверхностей, и на производствах с агрессивной средой, где пульты быстро выходят из строя.

Основной целью проекта является разработка надежной и безопасной системы управления роботами, основанной на технологии компьютерного зрения и адаптированной к жестким условиям эксплуатации. Система должна обеспечивать четкое распознавание команд даже при использовании оператором защитных перчаток, при изменении освещения и наличии вибраций от работающего оборудования.

Архитектура системы построена на использовании библиотек компьютерного зрения (OpenCV), оптимизированных для работы с индустриальными камерами (GigE Vision / USB3 Vision). Для трекинга руки применяются lightweight-модели машинного обучения, способные работать на промышленных компьютерах в режиме реального времени. ROS (Robot Operating System) используется в качестве промежуточного слоя для унификации передачи команд различным типам роботов.

Важным аспектом проекта является реализация системы технологических жестов, адаптированных под производственные задачи. Жесты разработаны с учетом эргономики: они должны быть легко запоминаемыми, различимыми для нейросети и не вызывать быстрого утомления (мышечного напряжения) у оператора. Например, открытая ладонь управляет перемещением схвата в пространстве (режим «летающая мышь»), сжатый кулак дает команду «схватить деталь», а жест «стоп-ладонь» останавливает все движения робота.

В системе реализованы продвинутые алгоритмы фильтрации, учитывающие производственную специфику. Промышленная камера работает с высокой частотой кадров, но изображение может содержать шум от искр сварки, блики от металла или частицы пыли. Применяются методы временной фильтрации (One-Euro Filter, адаптивный медианный фильтр) для сглаживания траектории команд и исключения ложных срабатываний. Реализована система «подтверждения» критических команд (например, пуск робота требует удержания жеста в течение 1 секунды).

Безопасность и надежность системы являются приоритетными. В отличие от офисных систем, здесь предусмотрены аппаратные и программные резервирования. Жест «аварийная остановка» (например, скрещенные руки над головой или резкий уход руки из зоны) имеет наивысший приоритет и дублируется возможностью подключения к внешним реле безопасности. Система постоянно мониторит нахождение оператора в безопасной зоне и блокирует управление, если рука приближается к опасным частям механизма.

Для удобства настройки и эксплуатации разработан специализированный интерфейс наладчика (HMI), который позволяет инженеру-технологу без знания программирования задавать зоны действия жестов (ROI), назначать конкретные жесты на конкретные команды робота (маппинг) и просматривать логи для анализа инцидентов. Интерфейс также отображает текущую нагрузку на систему и качество распознавания.

Особой ценностью проекта является его ориентация на интеграцию в существующие производственные ландшафты. Система поддерживает основные промышленные протоколы (Modbus, Profinet, OPC UA), что позволяет подключать ее к любым современным ПЛК без замены устаревшего оборудования. Для роботов, работающих под управлением ROS, предусмотрен прямой топик-интерфейс.

Техническая реализация включает создание защищенного промышленного исполнения (корпус с классом защиты IP65 для камеры и вычислительного блока), а также программную сборку для промышленных компьютеров под ОС реального времени (Linux с патчами PREEMPT_RT). Документация содержит разделы по монтажу, калибровке, интеграции с конкретными моделями роботов (KUKA, Universal Robots, Fanuc) и инструкции по обучению персонала.

Перспективы развития системы включают внедрение тактильной обратной связи (вибрация на запястье оператора при входе в опасную зону), использование стереокамер для точного позиционирования руки в 3D-пространстве, а также создание библиотеки пресетов для различных отраслей (сварка, сборка, паллетирование).

Проект представляет собой законченное индустриальное решение, готовое к пилотному внедрению на предприятиях, внедряющих концепцию «человеко-центричного производства» (Industry 5.0) и стремящихся повысить гибкость и безопасность своих роботизированных ячеек.

На страницу проекта