基于边界攻击以及决策的类攻击 提出了部署机器学习系统安全性的新问题.doc
《基于边界攻击以及决策的类攻击 提出了部署机器学习系统安全性的新问题.doc》由会员分享,可在线阅读,更多相关《基于边界攻击以及决策的类攻击 提出了部署机器学习系统安全性的新问题.doc(5页珍藏版)》请在三一文库上搜索。
1、基于边界攻击以及决策的类攻击 提出了部署机器学习系统安全性的新问题不知道大家有没有注意到,许多机器学习算法很容易受到几乎不可察觉的输入干扰的影响。到目前为止,我们还不清楚这种对抗干扰将为现实世界中机器学习应用的安全性带来多大的风险,因为用于生成这种干扰的大多数方法要么依赖于详细的模型信息(基于梯度的攻击)或者置信度分数,例如类概率(基于分数的攻击),而这两种在大多数现实世界中都是不可用的。在许多这样的情况下,目前我们需要后退到基于迁移的攻击中,其中它依靠繁琐的替代模型,需要访问训练数据,并可以被防御。在这里,我们强调了纯粹依靠最终模型决策的攻击的重要性。这种基于决策的攻击是(1)适用于真实世界
2、的黑盒模型,如自动驾驶汽车;(2)需要较少的知识,比基于迁移的攻击更容易应用;(3)相较于基于梯度或基于分数的攻击,它对于简单的防御具有更强健的鲁棒性。以往的攻击只限于简单的模型或简单的数据集。而在本文中,我们引入边界攻击(Boundary Attack)一种基于决策的攻击,它从一个大的对抗性干扰开始,然后力求在保持对抗的同时减少干扰。这种攻击在概念上是很简单的,要求接近没有超参数的调整,并且在像ImageNet这样的标准计算机视觉任务中,可以与最好的基于梯度的攻击相媲美。我们将这个攻击应用于Clarifai中的两个黑盒算法。特别是边界攻击以及基于决策的类攻击,为研究机器学习模型的鲁棒性开辟了
3、新的途径,并提出了关于部署机器学习系统安全性的新问题。这个攻击的实现可以作为Foolbox的一部分。图1 :(左)对抗攻击方法的分类。边界攻击适用于现实世界中机器学习算法,因为它只需要访问模型的最终决策(例如类标签或转录句子),而不依赖于模型的信息,如梯度或置信度分数。(右)应用于Clarifai品牌识别模型的案例。一般说来,应用于计算机视觉、语音识别和其他领域中的许多高性能机器学习算法易受到其输入的微小变化的影响(Szegedy等人于2013年提出)。我们可以举一个具体的例子来说明这一点,比如像VGG-19这样一个在目标识别中训练的先进的深度神经网络可以将图像中的主要目标准确地识别为虎猫(t
4、iger cat),但是如果以某种特定的方式对像素值进行轻微的干扰,那么同一网络的预测结果将会彻底改变(比如将其识别为公交车)。这些所谓的对抗性干扰在许多机器学习模型中是普遍存在的,而且往往不被人类所感知。一般情况下,我们将力求找到这种对抗性干扰的算法称之为为对抗性攻击。这种对抗性干扰引起了人们对于两个方面的关注。一方面,他们担心已部署的机器学习算法的完整性和安全性,比如自动驾驶汽车或人脸识别系统。路牌上(例如,将停车标志变成200公里/小时的速度限制)或路灯上(例如,将红灯变成绿灯)的微小干扰可能造成严重的后果;另一方面,对抗性干扰为人类和机器的感官信息处理之间的差距提供了一种关注焦点,并因
5、此为更具鲁棒性、更加人性化的体系架构提供了指导。对抗攻击大致可以分为三类:基于梯度的、基于分数的和基于迁移的攻击(参见图1)。基于梯度的攻击和基于分数的攻击通常被分别表示为白盒攻击和oracle攻击,但我们试图尽可能地明确在每个类别中所使用的信息。影响所有这些类别的攻击的一个严重问题是,它们直截了当地进行防御:基于梯度的攻击:大多数现有的攻击都依赖于详细的模型信息,包括输入的损失的梯度。防御:防御基于梯度的攻击的一种简单方法是对梯度进行掩码操作,例如通过隐式地增加不可微的元素,比如防御性精炼或饱和的非线性,再或者通过明确地添加不可微的分类器。基于分数的攻击:一些攻击更加不可知,只依赖于模型的预
6、测分数(例如类概率或逻辑)。防御:通过在模型中加入像dropout这样的随机元素,从而可以直接严重阻碍对数值梯度的估计。此外,许多鲁棒的训练方法在样本周围引入了一个极值点,它们不仅对梯度本身进行了掩码,而且还对其数值估计进行了掩码。基于迁移的攻击:基于迁移的攻击并不依赖于模型信息,而是需要关于训练数据的信息。该数据用于训练一个完全可观察的替代模型,而该模型可以合成对抗干扰。它们依赖于经验观察,即对抗样本经常在模型之间迁移。防御:最近针对迁移攻击的一种防御方法,是基于通过对由替代模型的对抗样本增强的数据集进行的健壮性训练,而它已经证明,在2017年的Kaggle 对抗攻击竞赛中,它几乎可以成功防
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于边界攻击以及决策的类攻击 提出了部署机器学习系统安全性的新问题 基于 边界 攻击 以及 决策 提出 部署 机器 学习 系统 安全性 新问题
链接地址:https://www.31doc.com/p-3418264.html