Общая характеристика
Проект направлен на создание энергоэффективной импульсной нейронной сети (SNN) для обнаружения объектов с борта БПЛА в реальном времени. Разработка относится к ТН1 (Технологии обработки и передачи данных).

Проблема
Классические нейросети (YOLO и аналоги) требуют мощных бортовых компьютеров и быстро разряжают батарею дрона. Передача видеопотока на землю создаёт задержку и зависимость от канала связи.

Цели и задачи
Цель: разработать SNN-модель, работающую на маломощном бортовом железе.

Задачи: освоить SpikingJelly и SNN-Drone, обучить модель на аэроснимках, оптимизировать число временных шагов, подготовить деплой на edge-устройство.

Описание решения
Базовая архитектура - SNN-Drone (на основе YOLOv8 с Integer-Valued Encoding). Нейроны передают редкие спайки вместо постоянных вычислений, что снижает энергопотребление в 7.7 раз. Обработка идёт на борту без передачи сырых данных.

Ожидаемые результаты
Модель с точностью на уровне YOLOv8 и энергоэффективностью x7.7. Скорость от 20–30 FPS на нейроморфных чипах (Loihi 2) или Jetson. Снижение нагрузки на канал связи.

Области применения
Мониторинг сельхозугодий, поиск людей в спасательных операциях, инспекция инфраструктуры, картография.

Потенциальные потребительские сегменты
Агропромышленные компании, МЧС и спасательные службы, логистические операторы, геодезические службы.

На страницу проекта