Применение нейросетей для широкого круга задач находит все большее распространение. Как правило, используются предобученные или уже готовые нейросети из открытых источников, а также решения сторонних зарубежных разработчиков. В настоящее время ведутся работы по формированию Государственных стандартов в области искусственного интеллекта, в частности это деятельность Технического комитета по стандартизации № 164, однако нейросеть по-прежнему рассматривается как «черный ящик» и единственным критерием ее работоспособности является проверка результативности на тестовой выборке, включающей стандартные задачи, не использованные при обучении. Тем не менее, существует ряд принципиальных моментов, касающихся надежности работы нейросетевых решений в реальных условиях: проблема граничной устойчивости и проблема искаженных (ограниченных) выборок. Результаты точности функционирования обученной нейросети, полученные при проверке на тестовой выборке, являющейся просто случайным подмножеством исходного набора данных, никак не гарантируют сохранения тех же показателей при приближении к границам. Здесь следует понимать, что границы в данном случае не являются принципиальным заметным глазу выходом за пределы нормальности. Мы работаем в многомерном пространстве признаков, и в каждом из измерений возможно достижение границы. То есть на совершенно нормальное с точки зрения человека изображение, нейросеть может выдать совершенно неожиданный результат и в настоящий момент нет способа исключить подобную реакцию. Обучение и тестирование нейросетей чаще всего происходит с использованием открытых библиотек примеров, принадлежащих зарубежным ИТ-компаниям и университетам. Существует возможность случайного наличия классификационных признаков во входных данных. Например, одна из систем распознавания компьютерных томограмм ориентировалась не на изображение, а на текстовую отметку о диагнозе, проставленную на снимке, которую не заметили при формировании обучающей выборки. Возможно и намеренное внесение изменений, например в файлы изображений, незаметные для человека, но свободно считываемые нейросетью. Это может позволять, например, фальсифицировать результаты работы, если в изображениях в неявной форме закодирован их класс, либо внести вложенные структуры в нейросеть, обученную по такой выборке, активируемые по определенному сочетанию скрытых сигналов на входном изображении. К проблеме искаженных выборок относится и такой подбор примеров для обучения, который склоняет сеть к принятию определенных решений в большей степени. Аналогичного результата можно достичь при изменении алгоритмов обучения нейросети. В этом случае можно разработать, например, систему поддержки принятия решений для торговой сети, которая будет рекомендовать к закупкам и размещению товар заранее определенного производителя, вопреки реальным данным. Очевидно, что это могут быть и системы поддержки принятия решений на уровне гос.управления, критических отраслей промышленности и т.д. Таким образом, разработка системы тестирования выборок и граничной устойчивости нейросетей является чрезвычайно актуальной задачей обеспечения информационной безопасности, решение которой обеспечивает существенно более полную проверку качества работы нейросетей по сравнению с принятым в настоящее время. Предлагаемое решение предполагает программную реализацию и тестирование разработанного математического аппарата для определения граничной устойчивости нейросетей, анализа распределения выборки в пространстве признаков, выявление скрытых закономерностей и искажений в обучающих и тестовых выборках. Нами разработаны математические подходы тестирования граничной устойчивости нейросетей, поиска типов искажений, которые могут привести к существенным изменениям результатов работы, а также модификации алгоритмов обучения нейросетей, позволяющих избегать возникновения подобных аномалий. Разработаны математические подходы не только к внедрению, но и к выявлению внедренных, либо случайно сформированных в нейросети вредоносных структур.

Производитель: ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "ПРАКТИК"

Другое