热点 电子

这也许将是围棋AI的最后死穴

神经网络 人工智能 对抗样本

Ent 发表于  2016-01-29 22:54

围棋AI下赢了欧洲冠军。这件事情本身还没那么可怕,毕竟棋界人士一致认为这几盘棋的人类发挥得并不好。但是毫无疑问,AI迟早会碾压人类,区别只是时间长短而已,柯洁也这么认为

那怎么办?是否我们就要安心承认机器的霸主地位,甘做二流棋手了呢?

当然这样不见得就是坏事儿。人类画师的仿真能力早就输给了摄影,但绘画也没有因此失去意义;国际象棋的顶尖AI已经连续十年没输给人类了,但人类间的国际赛事依然如火如荼。无论把围棋看成竞技还是艺术,战胜自己都是最重要的。世界第一不过是名分而已,无论是人还是机器。

但是如果有一天我们必须决出胜负,如果反叛的AI要求以围棋裁断地球的归属,如果我们必须向外星人证明人类智慧,那是不是就束手无策了呢?人还会偶尔失误,AI难道不是滴水不漏的吗?

也不一定。如果真的有那么一天,我们可能还会有一根救命稻草:“对抗样本”

神经网络,在意想不到的地方绊倒

2014年底,三位人工智能研究者在arxiv上贴出了一篇论文预印本。论文标题很有趣:《深度神经网络很好骗》

深度神经网络是目前最热门的人工智能路线之一,谷歌的AlphaGo围棋软件就以它为核心,而且相当多的人认为这是未来最有前途的高级人工智能。但神经网络的功能当然不止下围棋,它们还在许多其他领域实现了卓越成就,比如“视觉分类”任务——神经网络可以相当准确地判断出图片是猫还是企鹅。

相当准确,但并不完美。研究者发现,人为设计的图像很容易骗过它们。这本身没什么了不起,人脑也很容易被骗——但是,令神经网络摔倒的那些图,在人看来却是完全正常的。

图片来源

左图被神经网络判定为熊猫。给它人为叠加上中图所示微小的扰动(实际叠加权重只有0.7%),就获得了右图。在人类看来,左图和右图没有区别;可是AI却会以99.3%的置信度,一口咬定右图是一只长臂猿。

这不是意外的小失误,不是偶然的程序bug和出错。研究者发现,只要对图片做出一些人类无法察觉的修改,就能让ai把它当成完全不同的东西;还很容易设计出一些图片,人类什么都看不出来,ai却能以99.99%的把握确信它是某个东西。更有甚者,这些奇特的错误并不限于某个特定的神经网络,能骗过一个网络的图片,也能骗过另一个;它们也不限于图片识别,甚至不限于神经网络本身——研究者所尝试过的所有机器学习模型,都出现了这样的问题。

AI认为左图是一只狗,右图是一只鸵鸟。图片来源:nautilus

八张图在AI眼中分别是知更鸟、猎豹、犰狳、小熊猫、蜈蚣、孔雀、菠萝蜜和气泡。置信度全部在99.6%以上。图片来源

而最大的问题是,当神经网络犯下这样的错误时,研究者并没有特别有效的修正办法。

AI的盲区,人类的救星?

对抗样本自然出现的概率确实非常之低。但是它取这个名字并不是没有理由的:如果真的有人在故意采取对抗手段,那么这就有可能成为该系统的死穴。比如,面对一个靠神经网络来筛选垃圾邮件的系统,垃圾邮件发送方就可以精心设计出对抗样本,逃过法眼(虽然为了垃圾邮件而如此大费周章大概不是很划算)。

而且,从绝对数量来看,对抗样本是非常之多的。如果在空间中任取一点,大部分都会错误归类。谷歌研究者伊安·固费罗(Ian Goodfellow)说,他们将随机生成的噪声样本给一个神经网络看,结果它以很高的置信度将70%的样本判定成了一匹马。

另一种方式构造的八张图,在AI眼中分别是王企鹅、海星、棒球、电吉他、货车、遥控器、孔雀和非洲灰鹦鹉。图片来源

现在,对抗样本是个坏消息,是系统漏洞。但如果有一天我们真的要和AI正面对决,那么对抗样本也许会成为我们的救命稻草,因为它有这三个特点:

第一,对抗样本并不限于一个具体的神经网络,因此制造对抗样本也不需要获得该模型的源代码之类的东西。只要模型是被训练来执行相同的任务的,它们就会被同样的对抗样本欺骗,哪怕这些模型有不同的架构、使用了不同的训练样本,也没有关系!因此,我们只要自己做一个模型,创造出相应的对抗样本,就能用这些样本攻击那些同样任务的AI。

第二,对抗样本很难用常规的办法解决。固费罗的研究组尝试了各种各样传统手段,包括多个模型取平均值、同一图像多次判断取平均值、带噪音训练、生成模型等等,都不能解决对抗样本问题。有针对性的专门训练可以让模型的抵抗力更强,但也无法真正消灭盲区。

第三,人类不会被这些样本欺骗。当然,人类也会在意想不到的地方跌倒——心理学已经提供了浩如烟海的视错觉和其他错觉例子。这些错觉可以认为是人类专属的“对抗样本”。但是面对神经网络的对抗样本,和面对人类的对抗样本,二者并不重合。我们都会犯错,但犯的错误不一样。

研究者正在努力堵上对抗样本的漏洞,但是完全有可能出现无论如何也堵不上的情况。在这样的背景下,人类和AI的战争如果爆发,也许将进入全新的战场。

对抗样本时代的围棋会是什么样子?

其实根本上讲,我们不能说机器被对抗样本“骗”了——也许被骗的其实是我们呢,也许AI真的在那些噪点中发现了某种真正的本质的规律,而我们只是肉眼凡胎不识真面目。

但是我们让AI做图像识别,它要分类的图像就是人眼中的场景,它要遵守的规则就是人类大脑的规则。因此某种意义上,我们是主场。

围棋作为一种人类设计的游戏,也许也会是另一个主场。

谷歌AlphaGo的源代码尚未公开,但是研究者在论文中明确指出了它对深度学习的依赖。因此有理由猜想,它也会受困于精心设计的对抗样本——而当人类真的无法在棋盘上正面战胜AI的时候,可能必须开辟新战线,在大脑中决一死战。

到那时,围棋将成为一种双重游戏。对战双方不但要在物理的棋盘上攻城略地,还要设法引导对方步入心智陷阱。应该会有某些棋局能让AI错判,从而让它们下出大错棋,就像现在的研究者能让AI把大熊猫认成长臂猿一样。

但是对方的盲区棋局是什么样的?如何下出这样一盘棋局?实现这一局面需要在棋盘上做出多少牺牲?引导对方失误带来的收益能否补偿?是否有可能制造出这样的盘面,令对方陷入更大的心智陷阱,乃至直接死机?

AI反过来也可能也会利用人类的缺陷。我们不知道人类的围棋盲点在哪里,但原则上这也是可能存在的。这一看不见的战场,或许将比看得见的棋盘更加血腥。

唯一幸运的是,正如猫狗牛马的概念诞生于人类所处的物理世界,人类不会在它们身上犯错;围棋也是经人类之手诞生的,这也许能带给我们一些先天优势。如果哪一天我们必须去玩AI所创造的游戏,那也许才是真正的末日。

(编辑:moogee)

全部评论(121)
  • 31楼
    2016-01-30 21:28 言贩子

    表面看,是电脑抗干扰能力差。

    本质上,是神经网络的复杂程度跟人脑根本不是一个数量级的东西,这玩意儿的结构还是太简单了。

    [3] 评论
  • 32楼
    2016-01-30 21:39 幼发拉底

    让阿法狗对战阿法狗,在大样本的情况下结局是不是1:1,如果是,那么就让AI去对付AI吧

    [1] 评论
  • 33楼
    2016-01-30 23:30 梦游侠
    引用@阴月 的话:玩!

    无论是否愿意

    来自 果壳的壳
    [0] 评论
  • 34楼
    2016-01-30 23:50 浮游侠

    不知道连环劫能不能破围棋AI ?~

    [0] 评论
  • 35楼
    2016-01-31 00:33 卅貓 建筑学专业,分形艺术小组管理员
    引用@Inaria 的话:神经网络目前还只能把所有事物看成不同的狗

    woc不要在这种时候放这么精神污染的图!

    [0] 评论
  • 36楼
    2016-01-31 00:34 卅貓 建筑学专业,分形艺术小组管理员
    引用@天降龙虾 的话:

    我用的火狐所以选中无用,不过我能看到人脸

    [0] 评论
  • 37楼
    2016-01-31 00:35 卅貓 建筑学专业,分形艺术小组管理员
    引用@天降龙虾 的话:果然,现在不行了。。。。。。。。。。。。。

    因为你用的不是IE吧……至少我的IE行

    [0] 评论
  • 38楼
    2016-01-31 00:37 卅貓 建筑学专业,分形艺术小组管理员
    引用@null. 的话:我们可以比自由意志(任性)~

    然而什么是自由意志

    [0] 评论
  • 39楼
    2016-01-31 00:58 卅貓 建筑学专业,分形艺术小组管理员


    引用@巴甫洛夫的猫 的话:纯好奇用Google的图片搜索识别了一下那只“长臂猿”看来识别得还是很准的...不确定这具体意味着什么。也许Google图片搜索完全使用的是不同的技术原理。不过好像至少从目前来看,这个东西还是没法骗过...


    引用@null. 的话:并不是,这张图片已经反复出现在网上,作为熊猫被搜索和标记过了。google search是对比数据库得出结论的,而非让ai自行识别的。至少有三次,我见到在googleplus上贴的照片自动识别出错,猫...

    哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈你们都被耍了

    只有一张图


    [0] 评论
  • 40楼
    2016-01-31 01:02 卅貓 建筑学专业,分形艺术小组管理员

    所以是谁编辑的文章图片?这么粗心?

    [0] 评论
  • 41楼
    2016-01-31 06:30 山药蛋蛋1118

    这是人类开始备战了么?

    来自NOKIA Lumia 920
    [0] 评论
  • 42楼
    2016-01-31 06:43 CPP是最好的语言
    引用@xyfd 的话:都没仔细看,明明说了

    我和文中说的有点不一样

    文中说的是对图片进行预处理,我说的是加一层判断盲点,如果发现盲点就用盲点或与盲点类似的样本多次训练神经网络。

    我觉得这应该能在发现盲点后自动修复这个 bias

    [0] 评论
  • 43楼
    2016-01-31 10:52 红叶馆
    引用@爱抚 的话:别美了,短期看,人类会在逻辑思维,计算等方面全面败于AI的.长期看,搞不好感情,艺术,创造力也一样会败,那个时候AI就是一个新的物种

    AI没有类似人类的感知能力,围棋下赢也只是巧妙的算法,实际功率上还和人脑差好多,现在谈强AI就是科幻了

    [0] 评论
  • 44楼
    2016-01-31 10:55 flyiop1
    引用@方弦 的话:说得跟自由意志真的存在似的……

    好像也没有充分证据表明自由意志不存在吧?

    [0] 评论
  • 45楼
    2016-01-31 12:42 天降龙虾
    引用@爱抚 的话:别美了,短期看,人类会在逻辑思维,计算等方面全面败于AI的.长期看,搞不好感情,艺术,创造力也一样会败,那个时候AI就是一个新的物种

    没关系,逻辑只是个借口,至于艺术,俺一直认为那就是用来装逼骗钱的玩意。。。感情也好、创造力也罢,都是可以被利用的,真正重要的是权力,只要计算机不像人类这样执著于权力,它就算是神,也只能不断满足人类的要求而已。。。

    什么?计算机比人类更执著于权力?那就让它们自己斗去呗。。。。。。

    [0] 评论
  • 46楼
    2016-01-31 13:35 xyfd
    引用@CPP是最好的语言 的话:我和文中说的有点不一样文中说的是对图片进行预处理,我说的是加一层判断盲点,如果发现盲点就用盲点或与盲点类似的样本多次训练神经网络。我觉得这应该能在发现盲点后自动修复这个 bias

    你根本没理解文章说的啥,文中说的就是这些盲点目前还没有修复的希望

    [0] 评论
  • 47楼
    2016-01-31 15:32 菜鸟菜菜鸟
    引用@Inaria 的话:神经网络目前还只能把所有事物看成不同的狗

    我竟然能看出原图来!



    话说,对抗者 这个名比 面壁者 更接地气一些呢

    [0] 评论
  • 48楼
    2016-01-31 16:20 Miu_17270
    引用@国产零零七 的话:在未来AI有可能会对人类造成威胁,但这并不防碍我们发展它使用它,核武器也是对人类有威胁的,但核能我们也照样用。

    你这话政治上正确,但在科学上没有依据,逻辑上没有支撑点


    [1] 评论
  • 49楼
    2016-01-31 16:21 Miu_17270
    引用@天降龙虾 的话:没关系,逻辑只是个借口,至于艺术,俺一直认为那就是用来装逼骗钱的玩意。。。感情也好、创造力也罢,都是可以被利用的,真正重要的是权力,只要计算机不像人类这样执著于权力,它就算是神,也只能不断满足人类的要...

    没有欲望的AI不是好AI

    地球上所有生物表现出来的智力也都是在其个体欲望的驱使下,针对环境做出的反应而已


    [1] 评论
  • 50楼
    2016-01-31 16:26 Miu_17270
    引用@红叶馆 的话:AI没有类似人类的感知能力,围棋下赢也只是巧妙的算法,实际功率上还和人脑差好多,现在谈强AI就是科幻了

    作为一个唯物论者,我认为用于描述人类心智的所有词汇都必须有物质基础,只要是物质的,那就可以经过细致的研究之后对其进行准确排他的描述。有了这样的描述,那就可以形成算法

    别扯什么感知、自由意志甚至灵性的淡了


    [2] 评论
  • 51楼
    2016-01-31 17:07 palany

    AI成为一种自主的智能需要一种动力,就像生物的动力是生存,然后繁衍,进化,而AI给他什么动力合适呢,ai爱么?人类的无知(未知)也是一种动力,也就是好奇,那么AI好奇么?

    [0] 评论
  • 52楼
    2016-01-31 17:18 CPP是最好的语言
    引用@xyfd 的话:你根本没理解文章说的啥,文中说的就是这些盲点目前还没有修复的希望

    我觉得是你不理解我在说什么吧。

    你有没有试过从一个neuron开始写神经网络?如果你试过你或许能了解我在说什么。

    不过我也只是提出一个可能的方向。

    [0] 评论
  • 53楼
    2016-01-31 17:38 angelspeedlink
    引用@神宫司 的话:那八张马赛克图像我看到了眼睛和大致的轮廓,很明显的。。。

    我也觉得根据计算机的提示能看出来,感觉计算机比我们分辨得更清楚。

    [0] 评论
  • 54楼
    2016-01-31 17:44 Kim_Loo

    珍珑棋局

    [0] 评论
  • 55楼
    2016-01-31 17:45 邝医生

    人类的大脑和智慧是这个星球生命数十亿年残酷的生存竞争,经历无数物种灭绝淘汰自然选择而来,AI即使会比人类的最强大脑“聪明”,都只能是工具。没有得到的快乐,也没有失去的痛苦,没有欲望,所以也没有自主行为的动机。我们所感受到的各种情绪都是生存竞争进化而来,这个层面上,AI还不如一只蚂蚁,再聪明都只是工具。

    [1] 评论
  • 56楼
    2016-01-31 19:36 流浪的依云
    引用@国产零零七 的话:不用担心,AI始终超越不了人类的。。。AI只可以专精某个方面,AI只是在执行人的指令,AI没有意识,AI没有创造性,AI只是一种工具,工具会超越它的创造者吗?我看不大可能。我看即使有一天AI把人类几乎...

    以后可能会有强 AI 出现,有意识、有情感、有创造性,就跟一种全新的物种一样。(当然,它们的计算能力也会变得跟人类一样。)不过我认为人类目前离此种 AI 还很遥远。

    [0] 评论
  • 57楼
    2016-01-31 22:06 红猫_48149

    面壁。。。。

    [0] 评论
  • 58楼
    2016-01-31 22:08 d盾牌星座b
    引用@爱抚 的话:别美了,短期看,人类会在逻辑思维,计算等方面全面败于AI的.长期看,搞不好感情,艺术,创造力也一样会败,那个时候AI就是一个新的物种

    AI有逻辑,没思维啊

    [0] 评论
  • 59楼
    2016-01-31 22:11 爱抚
    引用@d盾牌星座b 的话:AI有逻辑,没思维啊

    思维的定义其实并不清晰,也许很狭隘

    [0] 评论
  • 60楼
    2016-01-31 22:13 jacksnow

    请问,这个对抗样本能否延伸到无人驾驶攻击机上?


    当然,我知道现在的无人驾驶攻击机大都是遥控的,可是随着电子对抗技术的扩散,相信所有的无人驾驶战斗机都有隐藏功能--------必要时转换为人工智能控制。

    那么,一个拥有干扰无人驾驶战机技术的势力,应该也能研究出对抗样本吧?即设计出几款设备,再设计出相应的对抗样板假目标,用这种假目标耗尽无人驾驶战机的弹药。

    [0] 评论

显示所有评论

你的评论

登录 发表评论

Ent
Ent 古生物学博士生,科学松鼠会成员

作者的其他文章

更多科研事,扫码早知道

关于我们 加入果壳 媒体报道 帮助中心 果壳活动 免责声明 联系我们 移动版 移动应用

©2017果壳网    京ICP证100430号    京网文[2015] 0609-239号    新出发京零字东150005号     京公网安备11010502007133号

违法和不良信息举报邮箱:jubao@guokr.com    举报电话:13691127034