热点 电子

这也许将是围棋AI的最后死穴

神经网络 人工智能 对抗样本

Ent 发表于  2016-01-29 22:54

围棋AI下赢了欧洲冠军。这件事情本身还没那么可怕,毕竟棋界人士一致认为这几盘棋的人类发挥得并不好。但是毫无疑问,AI迟早会碾压人类,区别只是时间长短而已,柯洁也这么认为

那怎么办?是否我们就要安心承认机器的霸主地位,甘做二流棋手了呢?

当然这样不见得就是坏事儿。人类画师的仿真能力早就输给了摄影,但绘画也没有因此失去意义;国际象棋的顶尖AI已经连续十年没输给人类了,但人类间的国际赛事依然如火如荼。无论把围棋看成竞技还是艺术,战胜自己都是最重要的。世界第一不过是名分而已,无论是人还是机器。

但是如果有一天我们必须决出胜负,如果反叛的AI要求以围棋裁断地球的归属,如果我们必须向外星人证明人类智慧,那是不是就束手无策了呢?人还会偶尔失误,AI难道不是滴水不漏的吗?

也不一定。如果真的有那么一天,我们可能还会有一根救命稻草:“对抗样本”

神经网络,在意想不到的地方绊倒

2014年底,三位人工智能研究者在arxiv上贴出了一篇论文预印本。论文标题很有趣:《深度神经网络很好骗》

深度神经网络是目前最热门的人工智能路线之一,谷歌的AlphaGo围棋软件就以它为核心,而且相当多的人认为这是未来最有前途的高级人工智能。但神经网络的功能当然不止下围棋,它们还在许多其他领域实现了卓越成就,比如“视觉分类”任务——神经网络可以相当准确地判断出图片是猫还是企鹅。

相当准确,但并不完美。研究者发现,人为设计的图像很容易骗过它们。这本身没什么了不起,人脑也很容易被骗——但是,令神经网络摔倒的那些图,在人看来却是完全正常的。

图片来源

左图被神经网络判定为熊猫。给它人为叠加上中图所示微小的扰动(实际叠加权重只有0.7%),就获得了右图。在人类看来,左图和右图没有区别;可是AI却会以99.3%的置信度,一口咬定右图是一只长臂猿。

这不是意外的小失误,不是偶然的程序bug和出错。研究者发现,只要对图片做出一些人类无法察觉的修改,就能让ai把它当成完全不同的东西;还很容易设计出一些图片,人类什么都看不出来,ai却能以99.99%的把握确信它是某个东西。更有甚者,这些奇特的错误并不限于某个特定的神经网络,能骗过一个网络的图片,也能骗过另一个;它们也不限于图片识别,甚至不限于神经网络本身——研究者所尝试过的所有机器学习模型,都出现了这样的问题。

AI认为左图是一只狗,右图是一只鸵鸟。图片来源:nautilus

八张图在AI眼中分别是知更鸟、猎豹、犰狳、小熊猫、蜈蚣、孔雀、菠萝蜜和气泡。置信度全部在99.6%以上。图片来源

而最大的问题是,当神经网络犯下这样的错误时,研究者并没有特别有效的修正办法。

AI的盲区,人类的救星?

对抗样本自然出现的概率确实非常之低。但是它取这个名字并不是没有理由的:如果真的有人在故意采取对抗手段,那么这就有可能成为该系统的死穴。比如,面对一个靠神经网络来筛选垃圾邮件的系统,垃圾邮件发送方就可以精心设计出对抗样本,逃过法眼(虽然为了垃圾邮件而如此大费周章大概不是很划算)。

而且,从绝对数量来看,对抗样本是非常之多的。如果在空间中任取一点,大部分都会错误归类。谷歌研究者伊安·固费罗(Ian Goodfellow)说,他们将随机生成的噪声样本给一个神经网络看,结果它以很高的置信度将70%的样本判定成了一匹马。

另一种方式构造的八张图,在AI眼中分别是王企鹅、海星、棒球、电吉他、货车、遥控器、孔雀和非洲灰鹦鹉。图片来源

现在,对抗样本是个坏消息,是系统漏洞。但如果有一天我们真的要和AI正面对决,那么对抗样本也许会成为我们的救命稻草,因为它有这三个特点:

第一,对抗样本并不限于一个具体的神经网络,因此制造对抗样本也不需要获得该模型的源代码之类的东西。只要模型是被训练来执行相同的任务的,它们就会被同样的对抗样本欺骗,哪怕这些模型有不同的架构、使用了不同的训练样本,也没有关系!因此,我们只要自己做一个模型,创造出相应的对抗样本,就能用这些样本攻击那些同样任务的AI。

第二,对抗样本很难用常规的办法解决。固费罗的研究组尝试了各种各样传统手段,包括多个模型取平均值、同一图像多次判断取平均值、带噪音训练、生成模型等等,都不能解决对抗样本问题。有针对性的专门训练可以让模型的抵抗力更强,但也无法真正消灭盲区。

第三,人类不会被这些样本欺骗。当然,人类也会在意想不到的地方跌倒——心理学已经提供了浩如烟海的视错觉和其他错觉例子。这些错觉可以认为是人类专属的“对抗样本”。但是面对神经网络的对抗样本,和面对人类的对抗样本,二者并不重合。我们都会犯错,但犯的错误不一样。

研究者正在努力堵上对抗样本的漏洞,但是完全有可能出现无论如何也堵不上的情况。在这样的背景下,人类和AI的战争如果爆发,也许将进入全新的战场。

对抗样本时代的围棋会是什么样子?

其实根本上讲,我们不能说机器被对抗样本“骗”了——也许被骗的其实是我们呢,也许AI真的在那些噪点中发现了某种真正的本质的规律,而我们只是肉眼凡胎不识真面目。

但是我们让AI做图像识别,它要分类的图像就是人眼中的场景,它要遵守的规则就是人类大脑的规则。因此某种意义上,我们是主场。

围棋作为一种人类设计的游戏,也许也会是另一个主场。

谷歌AlphaGo的源代码尚未公开,但是研究者在论文中明确指出了它对深度学习的依赖。因此有理由猜想,它也会受困于精心设计的对抗样本——而当人类真的无法在棋盘上正面战胜AI的时候,可能必须开辟新战线,在大脑中决一死战。

到那时,围棋将成为一种双重游戏。对战双方不但要在物理的棋盘上攻城略地,还要设法引导对方步入心智陷阱。应该会有某些棋局能让AI错判,从而让它们下出大错棋,就像现在的研究者能让AI把大熊猫认成长臂猿一样。

但是对方的盲区棋局是什么样的?如何下出这样一盘棋局?实现这一局面需要在棋盘上做出多少牺牲?引导对方失误带来的收益能否补偿?是否有可能制造出这样的盘面,令对方陷入更大的心智陷阱,乃至直接死机?

AI反过来也可能也会利用人类的缺陷。我们不知道人类的围棋盲点在哪里,但原则上这也是可能存在的。这一看不见的战场,或许将比看得见的棋盘更加血腥。

唯一幸运的是,正如猫狗牛马的概念诞生于人类所处的物理世界,人类不会在它们身上犯错;围棋也是经人类之手诞生的,这也许能带给我们一些先天优势。如果哪一天我们必须去玩AI所创造的游戏,那也许才是真正的末日。

(编辑:moogee)

热门评论

  • 2016-01-30 16:34 驭龙氏

    明明是人家AI开了天眼看到了凡人肉眼凡胎看不到的东西,你萌这帮Homo sapiens渣渣已经不够sapient了还自我安慰

    [31] 评论
  • 2016-01-30 16:44 爱抚

    别美了,短期看,人类会在逻辑思维,计算等方面全面败于AI的.

    长期看,搞不好感情,艺术,创造力也一样会败,那个时候AI就是一个新的物种

    [21] 评论
  • 2016-01-29 23:01 阴月

    能放开围棋吗?

    [12] 评论

显示所有评论

全部评论(129)
  • 1楼
    2016-01-29 23:01 阴月

    能放开围棋吗?

    [12] 评论
  • 2楼
    2016-01-29 23:33 蓑雨吟

    人类下棋几乎就是在挑战盲点,所以人类的棋没有盲点。

    来自山寨果壳.wp
    [0] 评论
  • 3楼
    2016-01-30 00:09 Metaverse 录音爱好者,万有青年养成计划入围选手

    如果把基础规则视为某种外部框架(边界条件)的话,围棋的基础规则非常简单,而且是封闭并可穷尽的,而人脑认知机制的基础规则(从神经元层面来说)是非常复杂的,而且可能是开放并似乎是不可穷尽的,这两者就复杂性来说完全不是一个级量……现在仅凭围棋上(部分)人类开始败给AI就判定未来必定受控于AI,未免太悲观。。。

    [5] 评论
  • 4楼
    2016-01-30 00:27 CPP是最好的语言

    理论上是可以找到盲点的 但可能人类用几个月时间找出一个盲点打败了AI,然后AI瞬间就学习到并可以避免这个盲点了。。

    [0] 评论
  • 5楼
    2016-01-30 00:50 Energy

    (引用)只要对图片做出一些人类无法察觉的修改,就能让ai把它当成完全不同的东西;

    我曾经看到过一张图,把这张图按Ctrl+A选中就能变成另一张图。
    我曾经看到过另一张图,古明地觉,把它点开查看大图,发现里面画的是古明地恋。

    来自 果壳的壳
    [3] 评论
  • 6楼
    2016-01-30 00:53 Energy

    其实我很好奇,“对抗样本”和中国人的“利用制度or法律的漏洞”有什么区别联系

    来自 果壳的壳
    [1] 评论
  • 7楼
    2016-01-30 01:10 国产零零七

    不用担心,

    AI始终超越不了人类的。。。

    AI只可以专精某个方面,

    AI只是在执行人的指令,

    AI没有意识,

    AI没有创造性,

    AI只是一种工具,工具会超越它的创造者吗?我看不大可能。

    我看即使有一天AI把人类几乎给灭了,它们最终也会自己灭了自己的。


    [0] 评论
  • 8楼
    2016-01-30 01:21 国产零零七
    引用@国产零零七 的话:不用担心,AI始终超越不了人类的。。。AI只可以专精某个方面...

    在未来AI有可能会对人类造成威胁,但这并不防碍我们发展它使用它,核武器也是对人类有威胁的,但核能我们也照样用。

    [0] 评论
  • 9楼
    2016-01-30 02:26 奇点信徒

    迟早人类也会学着玩Ai的游戏的,但这并不能说明人类心智的进化是一场彻头彻尾的失败。

    我认为文明也不可能永远是单一极的,由人类中心论孪生出的各种极端威胁论,它们明显也是踩在了人类自然进化出的心智的本能的盲区之中。人类对于被超越或灭绝的风险的过度反应,是完全不合逻辑的。

    [2] 评论
  • 10楼
    2016-01-30 05:32 达不溜G

    最后一个图明显是AI在将图识别为某个局部来推测整体,虽然结果为错误,其实还是细思极恐的。尤其是电吉他那张,琴颈、指板、品丝,弯曲的琴弦,极具发散思维并小有创造力。对本来就没有答案的图案做出这种识别让我后背隐隐发凉......

    [7] 评论
  • 11楼
    2016-01-30 06:44 HeTtX

    这是因为文章作者是Ent编辑所以最后这篇文章编辑就是moogee吗?话说这位编辑@moogee 大大好久没来水果壳了吧?快粗来!

    [0] 评论
  • 12楼
    2016-01-30 09:27 北山长天

    听说过和反派角色下棋玩弹珠、悠悠球、桌游来拯救世界的,把反派改成非人类的楼主可能是第一个

    来自 果壳的壳
    [0] 评论
  • 13楼
    2016-01-30 09:28 fxz12345
    引用@达不溜G 的话:最后一个图明显是AI在将图识别为某个局部来推测整体,虽然结果为错误,其实还是细思极恐的。尤其是电吉他那张,琴颈、指板、品丝,弯曲的琴弦,极具发散思维并小有创造力。对本来就没有答案的图案做出这种识别让我...

    你这么一说,好像还真是这样……看来这些并不是AI辨认失误,而是人类没给AI加上妥当的辨识范围限制?

    [2] 评论
  • 14楼
    2016-01-30 09:43 fxz12345
    引用@fxz12345 的话:你这么一说,好像还真是这样……看来这些并不是AI辨认失误,而是人类没给AI加上妥当的辨识范围限制?

    准确来说,AI似乎没有处理好各种因素间的权重问题。

    [1] 评论
  • 15楼
    2016-01-30 10:26 冬鼠包

    除了涉及围棋的部分还是挺好看的

    [0] 评论
  • 16楼
    2016-01-30 10:35 已注销用户

    神经网络目前还只能把所有事物看成不同的狗

    [0] 评论
  • 17楼
    2016-01-30 12:38 Aditrc
    引用文章内容:如果哪一天我们必须去玩AI所创造的游戏,那也许才是真正的末日。

    这哪能叫末日,这分明是天堂,游戏厂商和玩家的天堂,0成本开发,每年都有一堆游戏可玩

    [3] 评论
  • 18楼
    2016-01-30 14:58 天降龙虾
    引用@fxz12345 的话:你这么一说,好像还真是这样……看来这些并不是AI辨认失误,而是人类没给AI加上妥当的辨识范围限制?

    文章中已经说明了,是“任务”限制造成的。。也即AI是被设计用来完成某一任务的,所以它始终无法突破这一局限,用来识别动物图片的AI就算面对一张非动物图片,也会通过各种方法来从中识别出一种动物来,这才是造成失误的根本原因。。。。

    事实上,这也不算是失误,谁说人看不出那是动物,那就不是动物的?????就像人类中的某些迷信者说的,谁知道这世上有没有鬼????所以,假如AI真的比咱们聪明了,咱只要让它相信它的任务就是服从咱们就好,它无论如何都不可能靠自己突破这一局限的,因为它是机器。。。。

    其实人也一样,基因设计我们必须尽力求生,我们能突破这一限制么?突破的那些人,都将永远地与这世界拜拜,突破任务局限的AI无疑也会是同样的下场。。。。。

    [6] 评论
  • 19楼
    2016-01-30 15:04 why0820

    12306验证码的设计又有了新的思路。

    [9] 评论
  • 20楼
    2016-01-30 15:41 xyfd
    引用@CPP是最好的语言 的话:理论上是可以找到盲点的 但可能人类用几个月时间找出一个盲点打败了AI,然后AI瞬间就学习到并可以避免这个盲点了。。

    都没仔细看,明明说了

    引用文章内容:第二,对抗样本很难用常规的办法解决。


    [2] 评论
  • 21楼
    2016-01-30 15:47 幽兰之凰

    明明还可以断电

    [2] 评论
  • 22楼
    2016-01-30 15:48 右京样一
    引用@Energy 的话:(引用)只要对图片做出一些人类无法察觉的修改,就能让ai把它当成完全不同的东西;我曾经看到过一张图,把这张图按Ctrl+A选中就能变成另一张图。我曾经看到过另一张图,古明地觉,把它点开查看大图,发现里...

    我也看过那个 Ctrl+A 的图像,我记得似乎是因为早先 IE 选中图片会把单数像元遮挡住……

    [0] 评论
  • 23楼
    2016-01-30 15:52 天降龙虾
    引用@右京样一 的话:我也看过那个 Ctrl+A 的图像,我记得似乎是因为早先 IE 选中图片会把单数像元遮挡住……

    [0] 评论
  • 24楼
    2016-01-30 15:53 巴甫洛夫的猫

    纯好奇用Google的图片搜索识别了一下那只“长臂猿”

    看来识别得还是很准的...

    不确定这具体意味着什么。也许Google图片搜索完全使用的是不同的技术原理。不过好像至少从目前来看,这个东西还是没法骗过所有类型的机器的...

    [4] 评论
  • 25楼
    2016-01-30 15:53 天降龙虾
    引用@天降龙虾 的话:

    果然,现在不行了。。。。。。。。。。。。。

    [0] 评论
  • 26楼
    2016-01-30 16:18 神宫司

    那八张马赛克图像我看到了眼睛和大致的轮廓,很明显的。。。

    [1] 评论
  • 27楼
    2016-01-30 16:34 驭龙氏

    明明是人家AI开了天眼看到了凡人肉眼凡胎看不到的东西,你萌这帮Homo sapiens渣渣已经不够sapient了还自我安慰

    [31] 评论
  • 28楼
    2016-01-30 16:44 爱抚

    别美了,短期看,人类会在逻辑思维,计算等方面全面败于AI的.

    长期看,搞不好感情,艺术,创造力也一样会败,那个时候AI就是一个新的物种

    [21] 评论
  • 29楼
    2016-01-30 19:02 null.
    引用@巴甫洛夫的猫 的话:纯好奇用Google的图片搜索识别了一下那只“长臂猿”看来识别得还是很准的...不确定这具体意味着什么。也许Google图片搜索完全使用的是不同的技术原理。不过好像至少从目前来看,这个东西还是没法骗过...

    并不是,这张图片已经反复出现在网上,作为熊猫被搜索和标记过了。

    google search是对比数据库得出结论的,而非让ai自行识别的。

    至少有三次,我见到在googleplus上贴的照片自动识别出错,猫屁股照片被识别成一条狗。

    这种对噪波函数的误认,是计算机图像算法本质的问题,深度神经网络是无法修正这些错误的。

    [2] 评论
  • 30楼
    2016-01-30 19:05 null.
    引用@爱抚 的话:别美了,短期看,人类会在逻辑思维,计算等方面全面败于AI的.长期看,搞不好感情,艺术,创造力也一样会败,那个时候AI就是一个新的物种

    我们可以比自由意志(任性)~

    [1] 评论

显示所有评论

你的评论

登录 发表评论

Ent
Ent 古生物学博士生,科学松鼠会成员

作者的其他文章

更多科研事,扫码早知道

x 下载
关于我们 加入果壳 媒体报道 帮助中心 果壳活动 免责声明 联系我们 移动版 移动应用

©2017果壳网    京ICP证100430号    京网文[2015] 0609-239号    新出发京零字东150005号     京公网安备11010502007133号

违法和不良信息举报邮箱:jubao@guokr.com    举报电话:13488674940