三界文学阁

手机浏览器扫描二维码访问

前言（第1页）

前言

生活中的深度学习

深度学习自2006年产生之后就受到科研机构、工业界的高度关注。最初，深度学习主要用于图像和语音领域。从2011年开始，谷歌研究院和微软研究院的研究人员先后将深度学习应用到语音识别，使识别错误率下降了20%～30%。2012年6月，谷歌首席架构师jeffdean和斯坦福大学教授andrewng主导著名的googlebrain项目，采用16万个cpu来构建一个深层神经网络，并将其应用于图像和语音的识别，最终大获成功。

2016年3月，alphago与围棋世界冠军、职业九段棋手李世石进行围棋人机大战，以4比1的总比分获胜；2016年年末2017年年初，该程序在中国棋类网站上以“大师”（master）为注册账号与中日韩数十位围棋高手进行快棋对决，连续60局无一败绩；2017年5月，在中国乌镇围棋峰会上，它与排名世界第一的围棋世界冠军柯洁对战，以3比0的总比分获胜。alphago的成功更是把深度学习的热潮推向了全球，成为男女老少茶余饭后关注的热点话题。

现在，深度学习已经遍地开花，在方方面面影响和改变着人们的生活，比较典型的应用包括智能家居、智能驾驶、人脸支付和智能安防。

深度学习的脆弱性

深度学习作为一个非常复杂的软件系统，同样会面对各种黑客攻击。黑客通过攻击深度学习系统，也可以威胁到财产安全、个人隐私、交通安全和公共安全（见图0-1）。针对深度学习系统的攻击，通常包括以下几种。

图0-1深度学习的脆弱性

1.偷取模型

各大公司通过高薪聘请ai专家设计模型，花费大量资金、人力搜集训练数据，又花费大量资金购买gpu设备用于训练模型，最后得到深度学习模型。深度学习模型的最终形式也就是从几百kb到几百mb不等的一个模型文件。深度学习模型对外提供服务的形式也主要分为云模式的api，或者私有部署到用户的移动设备或数据中心的服务器上。针对云模式的api，黑客通过一定的遍历算法，在调用云模式的api后，可以在本地还原出一个与原始模型功能相同或者类似的模型；针对私有部署到用户的移动设备或数据中心的服务器上，黑客通过逆向等传统安全技术，可以把模型文件直接还原出来供其使用。偷取深度学习模型的过程如图0-2所示。

2.数据投毒

针对深度学习的数据投毒主要是指向深度学习的训练样本中加入异常数据，导致模型在遇到某些条件时会产生分类错误。如图0-3所示。早期的数据投毒都存在于实验室环境，假设可以通过在离线训练数据中添加精心构造的异常数据进行攻击。这一攻击方式需要接触到模型的训练数据，而在实际环境中，绝大多数情况都是公司内部在离线数据中训练好模型再打包对外发布服务，攻击者难以接触到训练数据，攻击难以发生。于是攻击者把重点放到了在线学习的场景，即模型是利用在线的数据，几乎是实时学习的，比较典型的场景就是推荐系统。推荐系统会结合用户的历史数据以及实时的访问数据，共同进行学习和判断，最终得到推荐结果。黑客正是利用这一可以接触到训练数据的机会，通过一定的算法策略，发起访问行为，最终导致推荐系统产生错误。

图0-2偷取深度学习模型

图0-3针对深度学习的数据投毒

3.对抗样本

对抗样本由christianszegedy等人提出，是指在数据集中通过故意添加细微的干扰所形成的输入样本，这种样本导致模型以高置信度给出一个错误的输出。在正则化背景下，通过对抗训练减少原有独立同分布的测试集的错误率，在对抗扰动的训练集样本上训练网络。

简单地讲，对抗样本通过在原始数据上叠加精心构造的人类难以察觉的扰动，使深度学习模型产生分类错误。以图像分类模型为例，如图0-4所示，通过在原始图像上叠加扰动，对于肉眼来说，扰动非常细微，图像看起来还是熊猫，但是图像分类模型却会以很大的概率识别为长臂猿。

图0-4针对图像分类模型的对抗样本

下面以一个图像分类模型为例，更加直接地解释对抗样本的基本原理。通过在训练样本上学习，学到一个分割平面，在分割平面一侧的为绿球，在分割平面另外一侧的为红球。生成攻击样本的过程，就是在数据上添加一定的扰动，让其跨越分割平面，从而把分割平面一侧的红球识别为绿球，如图0-5所示。

图0-5对抗样本的基本原理

对抗样本按照攻击后的效果分为targetedattack（定性攻击）和non-targetedattack（无定向攻击）。区别在于targetedattack在攻击前会设置攻击的目标，比如把红球识别为绿球，或者把面包识别为熊猫，也就是说在攻击后的效果是确定的；non-targetedattack在攻击前不用设置攻击目标，只要攻击后，识别的结果发生改变即可，可能会把面包识别为熊猫，也可能识别为小猪佩琪或者小猪乔治，如图0-6所示。

图0-6targetedattack和non-targetedattack

对抗样本按照攻击成本分为white-boxattack（白盒攻击）、black-boxattack（黑盒攻击）和real-worldattackphysicalattack（真实世界物理攻击）。

white-boxattack（见图0-7）是其中攻击难度最低的一种，前提是能够完整获取模型的结构，包括模型的组成以及隔层的参数情况，并且可以完整控制模型的输入，对输入的控制粒度甚至可以到比特级别。由于white-boxattack前置条件过于苛刻，通常作为实验室的学术研究或者作为发起black-boxattack和real-worldattackphysicalattack的基础。

图0-7white-boxattack

black-boxattack相对white-boxattack攻击难度具有很大提高，black-boxattack完全把被攻击模型当成一个黑盒，对模型的结构没有了解，只能控制输入，通过比对输入和输出的反馈来进行下一步攻击，见图0-8。

图0-8black-boxattack

real-worldattackphysicalattack（见图0-9）是这三种攻击中难度最大的，除了不了解模型的结构，甚至对于输入的控制也很弱。以攻击图像分类模型为例（见图0-10），生成的攻击样本要通过相机或者摄像头采集，然后经过一系列未知的预处理后再输入模型进行预测。攻击中对抗样本会发生缩放、扭转、光照变化、旋转等。

图0-9real-worldattackphysicalattack

图0-10图像分类模型的真实世界物理攻击

常见检测和加固方法

收好你的信息素  [未穿今]虚拟偶像  海贼：开局一双写轮眼  推掉那座塔  农家锦鲤太子妃  拐个太子当兄长  一吻定终身，晋少偏爱离婚女  极品神级妖孽  魔祖无敌  有凤来仪：本宫床下有个黑洞  守婚如玉：敬前夫一杯酒  开局就送万达广场  弃妇翻身：王爷，滚远了  超级富农  娱乐圈全民男神  西湖女王  和离小娘子  化天之神  重生之农门寡妇  七零年代之悍妻发家忙