Исследование модели устойчивости нейронной сети

Т. В. ДЖАМГАРЯН, подполковник запаса, кандидат технических наук, старший технический консультант компании «NSM Security» (департамент R&D), преподаватель Национального политехнического университета Армении;

Т. Н. ШАХНАЗАРЯН, генерал-майор, начальник Главного оперативного управления Генерального штаба ВС РА – заместитель Начальника
Генерального штаба ВС РА

РЕЗЮМЕ

Модели искусственного интеллекта, особенно в области безопас­ности, обязаны быть устойчивыми не только к классическим ошибкам, но и к осознанному фаззинговому искажению. Настоящее исследо­ва­ние демонстрирует, что даже небольшой процент искажений может привести к значительным сбоям в классификации. Это подчёркивает необходимость регулярного тестирования на устойчивость, оценки доверия к источникам обучающих данных, проектирования «устой­чи­вых к фаззингу» архитектур.

Проведённое исследование показало, что устойчивость нейросе­те­вой модели существенно зависит от качества обучающих данных. ГСС, несмотря на свой генеративный потенциал, теряет способность извлекать стабильные паттерны из искажённых данных и начинает воспроизводить «неправильную норму». Без дополнительных меха­низ­мов защиты от искажений (фильтрация автоэнкодеров, контроль доверия к входным данным) нейросетевые модели уязвимы в случае атаки на основе искаженных данных, что приводит к неверной работе систем функционирующих на их основе.