近期，一群来自华盛顿大学网络安全实验室（NSL）的计算机专家发现，恶意攻击者可以欺骗Google的CloudVision API，这将导致API对用户提交的图片进行错误地分类。
近些年来，基于AI的图片分类系统变得越来越热门了，而这项研究针对的就是这种图片分类系统。现在，很多在线服务都会采用这种系统来捕捉或屏蔽某些特殊类型的图片，例如那些具有暴力性质或色情性质的图片，而基于AI的图片分类系统可以阻止用户提交并发布违禁图片。
虽然这种分类系统使用了高度复杂的机器学习算法，但是研究人员表示，他们发现了一种非常简单的方法来欺骗Google的Cloud Vision服务。
Google的Cloud Vision API存在漏洞
他们所设计出的攻击技术其实非常简单，只需要在一张图片中添加少量噪点即可成功欺骗Google的Cloud Vision API。其中的噪点等级可以在10%到30%范围内浮动，同时也可以保证图片的清晰度，而且这足以欺骗Google的图片分类AI了。
向图片中添加噪点其实也非常的简单，整个过程并不需要多么高端的技术，一切只需要一个图片编辑软件即可实现。
研究人员认为，网络犯罪分子可以利用这种技术来传播暴力图片、色情图片或恐怖主义宣传图片。除此之外，Google自己的图片搜索系统也使用了这个API，这也就意味着，当用户使用Google进行图片搜索时，很可能会搜索到意料之外的图片。
解决这个问题的方法很简单
研究人员表示，修复这个问题其实跟攻击过程一样的简单，所以Google的工程师们完全没必要紧张。
为了防止这种攻击，Google只需要在运行其图片分类算法之前，对图片中的噪点进行过滤就可以了。研究人员通过测试发现，在噪点过滤器的帮助下，Google的Cloud Vision API完全可以对图片进行适当的分类。
后话
研究人员已经将这种攻击的完整技术细节在其发表的论文中进行了描述，感兴趣的用户可以阅读这篇论文【传送门】。已经值得注意的是，这群研究人员在此之前也使用过类似的方法来欺骗Google的Cloud Video Intelligence API【参考资料】。注：他们在一个视频中每两秒就插入一张相同的图片，最后Google的视频分类AI会根据这张不断重复出现的图片来对视频进行分类，而分类的依据并不是视频本身的内容。
本文来自开源中国社区 [http://www.oschina.net]