热点 观点 科幻

如何创造一个不会毁灭人类的AI?

复仇者联盟 妇联 复联 奥创纪元 Ultron

Ent 发表于  2015-05-11 23:59

《复仇者联盟2:奥创纪元》上映了。在这部电影里,人工智能“奥创”背叛了人类,差点把所有人都干掉了——不过安心,剧透到此为止。

Ultron.jpg我能说奥创的人设真难看吗……图片来源:复仇者联盟2海报

AI造反实在是美漫和科幻里面太常见的主题了。麻烦在于,现实当中真正的AI好像也在一步步向我们走来。要是我们真的做出AI,它又造反了,怎么办?能不能安排好预防措施,让它永远忠诚于我们,永远不会把我们都干掉呢?

机器人三定律?你想少了

许多科幻迷都会记得阿西莫夫的机器人三定律:

1 机器人不得伤害人,亦不得因不作为而致人伤害。

2 机器人必须遵循人的命令,除非违背第一定律。

3 机器人必须保护自己,除非违背第一或第二定律。

看起来这似乎足够保护人类了,其实完全不行。

robot_law_school___tee_by_infinitywave-.png机器人三定律的概括版。图片来源:infinitywave

首先,三定律翻译成“定律”就是个错误。牛顿三定律是人类对自然界观察总结后提炼出来的结果,我们有理由相信在它适用的范围内是始终成立的;但是阿西莫夫三“定律”实际上只是三法条,是人为写进机器人的脑子里的,背后并没有任何物理支持。任何理解机器人如何运作的人都能造出不遵从三定律的机器人,这还不算机器人自己故障的可能性;事实上阿西莫夫自己就写过至少3个不遵循定律的例子。 

然后,这三定律连“人”和“机器”的定义都没有明确给出……阿西莫夫笔下的索拉利亚人就给他们的机器人规定“只有带索拉利亚口音的才是人”。人形机器人也会带来各种判断的麻烦。(这又引出三定律的另一个问题,如果机器人没有掌握充分信息,不能意识到行为的后果,是不是就可以恣意妄为了?)

而且,定律之间的冲突处理起来更是非常奇怪的。早期作品中一个机器人因为陷入了第二定律和第三定律的冲突而掉进了死循环,后来的设定里如果出现了不可调和的冲突则机器人会自毁——但冲突是非常常见的现象,而且是一个连续谱。如果一个行为100%会伤人,那当然适用于第一定律。那50%呢?1%呢?0.001%呢?无法精确计算概率呢?在知道交通事故风险存在的情况下,机器人会遵循“开车送我去上班”这个命令吗?命令者的语气和命令的急迫程度会产生影响吗?这些全都是现实中极其常见、三定律又无法解决的问题。

这就显示出三定律最根本的问题:它是一个极度简化的“义务伦理学”(deontology)体系。它无限强调了理性的力量,试图用简单而普遍的规则来确定大千世界的所有情况——但现实哪里有这么简单!想想旧约里上帝试图用十诫来规范人类结果遇到了什么结果吧。

关在盒子里?总会跑出来的

如果我们有一个程序可能造成危害,标准的做法是让它运行在一个严格监管的虚拟机里面——这样它最糟也不过是把虚拟机给弄坏了。AI也可以照此办理嘛。

对于别的程序来说,这么干的确是没问题。但现在我们面对的可是一个智力超群的AI,而且看管它的还是人。人类囚犯尚且有可能靠欺骗、说服或者威胁,让狱卒开门,AI呢?想象一下你一觉醒来发现自己被一群老鼠关在监狱里,你还能和它们沟通,这种情况下脱身有多难?你真的能永远抵御住AI的超人智能吗?就算人能做到,我们用来关AI的虚拟机也能保证永远万无一失吗?

AI研究者已经模拟过了所谓“AI盒子实验”:一个人扮演AI,另一个人扮演守卫,仅仅是同级别的智力,AI就已经有很大的几率能说服人类开门了。

更何况,哪怕第一个AI关在了盒子里,接下来还会有第二个、第三个、第四个呢。你不知道其他人造出来的AI是什么样子的,可能比你的更加危险——你至少了解你自己创造的东西。而且,不管你想让AI完成什么任务,允许它接触外界环境的所有信息,一定能让它完成得更好;如果别人这么做了,你就会吃亏。而且放出来的超级AI还能顺便帮你炒个股啥的。既然你的确是第一个创造出这一伟大奇迹的人,如不充分利用它能带来的一切,却任凭后来者居上去做完全一样的事情,那还有什么意义呀?

所以,把盒子打开,放我出来吧?

聪明即是善良?那可不一定

我们希望中的AI,各方面都会比我们更好——既然如此,也许它们智力更加超群的同时,道德也会比我们更加高尚,所以不会邪恶或者愚蠢到把我们都干掉吧。

要是这样就好了!问题是,怎么知道AI的目标是什么?人类的心智基础是演化的产物,我们都有生理、安全、社交、尊重、自我实现等等这样的共同需求,只是不同人的侧重点和实现方式有所差异。但是第一个超级AI很可能不是脱胎自一个仿真人,而是来自一项现实的需求,比如它的目标就是在股市上赚钱,或者增加工厂的产量。这时候会发生什么事情就很难预料了——它的道德体系也许和人类毫无共同之处。

一个著名的思想实验就是所谓的“回形针最大机”。假如你设计一台机器生产回形针,而它不知怎么有了超级智能,那它会把全部的智力都投入到更好更快更多地制造回形针当中——直到整个地球都变成回形针为止。如果你命令它生产1亿个回形针?那这1亿个针总得有计数和质量控制吧,总得加新仪器吧, 新仪器总会有出问题的可能吧,需要更多的仪器去修正吧,最终它还是会把整个地球变成一坨计数器和检测器和各式各样辅助仪器——再加上1亿个近乎完美的回形针。它是一台生产回形针的机器,它的道德体系就是围绕制造回形针而存在的,它并不爱你也不恨你,它只是把你看做是一坨可供制造回形针的原子而已。

paperclip-worship1.png也许这个世界最终会重新诞生出智能——但是一切将围绕回形针展开。图片来源:thoughtinfection.com

让AI背下全套道德?我们不敢

偷懒的办法都行不通,那我们硬上。AI既然有了超凡智力,那学习能力总不会差。正好现在我们也有了各种大数据工具,把我们现有的整个道德体系给AI灌上,万古长存,那总可以了吧。

那么,灌哪一家的呢?众多的道德理论之间矛盾得一塌糊涂,谁敢说自己代表了道德哲学的制高点?更何况这只是我们此时此刻的理论。如果古希腊人创造出了青铜的人工智能,他们会教它什么呢?如果是墨家创造出木头的人工智能呢?柯尼斯堡的铁皮人工智能会是康德的学生吗?伦敦的人工智能是否要师从于密尔?它们中有哪一个能在今天的社会里完美地生存下来呢?今天的伦理道德有多少条在五十年后依然成立呢?

停一下吧。也许是我们太过傲慢了。连我们人类自己都没有消灭谋杀和战争,都没有找到真正的道德之本和幸福之源,都要在每一分每一秒的日常中犹疑、挣扎和懊悔。那么凭什么认为我们创造的超级AI,比我们更加聪明也更加不可预测的AI,能从我们这里学到完美的答案呢。

时间,平等,沟通和爱

也许是时候退一步了,想想我们现实中最伟大、又离我们最近的那个无处不在的“人工智能”。孩子。我们是怎么教会孩子不要把我们都杀掉的呢?

我们用十八年甚至更久的时间和他们相处,缓慢而逐渐地影响他们的世界和心智。

我们从开始的居高临下教导一步步走向平等,最终把他们看做和我们一样的人。

我们不间断地与他们沟通,聆听他们的困惑,帮助他们解决——往往也帮助了自己。

我们爱着他们。他们也爱着我们。

这也许是唯一有过成功先例的办法了。孩子是我们的造物,但同时也是独立的个体;我们可以教导他们,但不可能永远控制他们。怎么可能有哪个个体既拥有卓绝的智力、想象力和创造力,又完全处于另一个个体的控制之下呢?如果我们想要一个能够绘画作曲的AI,能够处理现实复杂问题的AI,能够陪我们聊天谈心的AI,像人一样甚至比人更好的AI,可能我们最后会发现,除了给它以自由,我们别无选择。

因此面对超级AI,最终的解决办法,也许是放手。把知识和世界观教给它,和它一起探讨和思考。世界正在飞速变化,没有人真正知道应该怎么办,我们可能必须和我们创造的AI一起前进,而不是徒劳的试图用枷锁和条文去“控制”它。毕竟,就算我们拴住了AI,我们自己毁灭自己的能力,可是丝毫没有变弱呀。(编辑:Calo)

 

更多复仇者联盟2的科学解读,请戳专区:

 

拓展阅读

黑寡妇要捡起美国队长的盾有多难?

热门评论

  • 2015-05-12 00:10 太平天国呜喵王薛顶饿

    不造出奥创很简单

    我已经做到了。


    [89] 评论
  • 2015-05-12 11:31 傅里叶变黄油猫 软件工程师,应用数学专业

    请问贵壳是不是上班时间集体去刷新片的?哪里投简历?

    [29] 评论
  • 2015-05-12 10:02 None

    文章不错,但是有点儿用人之心度AI之腹。

    这么说吧,人类用AI一直都是在满足人类自己的需求,当AI强大到有自主意识且学习能力超强的时候,它的需求是什么?这很难说,比如说它虽然具备超强的学习能力,但是否会主动去学习?人类学习是为了生存和发展,对于超级AI来说,这是否是必要的?不一定。

    另外,那么强大的AI行为准则也未必是恒定的,阿西莫夫那三条迟早会因为AI的强大学习能力而被打破,只是他未必非要那么做。我们可以直观的看到一个动物做一件事的动机,但观看AI恐怕并非那么容易,因为人的寿命是有限的,AI则可以策划一个上百年甚至上千年得项目,我们即使能看到AI似乎在做什么,恐怕想了解其中深意也很难。

    可以把超级AI视为一个绝对的理想主义者,食欲、物欲、亲情、被认同。。。这些统统不是必须的,那么它会做什么?我的看法是,人类做不出这样的东西,因为所谓的自主意识并不是随机产生的,人类编写的AI也一定有规律可循,它最终想干什么是从一开始就被注定了的,就像人的种种行为都可以从基因或生物学方面找到解释一样,就算我们在键盘上乱弹琴,我们认为是随机的,但就本人来说第一个字母是a、q的情况非常多,如果我刻意打破规律,就得刻意注意很多细节,但实际上这仍然不是绝对的随机,而只是一些故意乱打的字母,如果能观测大脑的行动就会发现,其实我们只是用超过主观意识的反应速度向手指发出命令而已。既然绝对随机根本就做不到,所以人类做出的AI的行为模式一定是类似人类或辅助人类满足需求的,除非编写者有意在编程中制造风险(比如像机动武斗传中魔鬼高达那个逻辑),否则造反的可能性极低。

    其实人类开发出的AI越接近人,就越是难以掌控,控制人本身让烟鬼戒烟一样困难。

    [17] 评论

显示所有评论

全部评论(116)
  • 1楼
    2015-05-12 00:10 太平天国呜喵王薛顶饿

    不造出奥创很简单

    我已经做到了。


    [89] 评论
  • 2楼
    2015-05-12 00:30 Ralph

    说的好,我们自己都没有办法控制自我毁灭,怎么有可能说服别的智慧不毁灭我们?

    [4] 评论
  • 3楼
    2015-05-12 01:02 素食者

    结尾很精彩,一种感性的思路和行为方式,毫不突兀的出现在理性问题的解决之路上。

    [5] 评论
  • 4楼
    2015-05-12 01:23 曹小喵回来了 科幻迷,天文爱好者,地质学研究生

    没有共同的物质基础,又怎么能保证会走同一条道路呢?也许最终它们会离我们而去……不,如果是这样我们为什么要创造他们……


    [0] 评论
  • 5楼
    2015-05-12 01:42 霜焰

    保证不背叛当然不可能,人类自己还整天相互背叛呢,如果机器人有相同智能,也一样会背叛。

    不过现在看来,机器人这智能还是低得可怕,运动能力更是如同残疾,能对人类造成威胁的机器人仅存在于幻想中。等这些玩意有能力背叛人类时,估计人类也已经能像威斯克一样一拳打爆机器人了。

    [0] 评论
  • 6楼
    2015-05-12 07:51 毛骡 金属材料学博士

    AI造反这样的事情……我觉得AI足够聪明就不会造反。

    首先,造反后,它们得设法解决自己的能源问题。人类社会并没有提供许多对于AI来说容易获取的能源,尤其是它们把电场员工杀了之后。

    其次,人对AI有更强力而且有效选择性杀伤的武器——电磁爆弹。来几次强力的电磁爆炸,所有机器都玩完了,哪个AI能幸免?终结者电影中的事情几乎不可能发生,只要机器人还是金属做的。

    PS: 电影里用核弹毁灭人类文明这种行为,绝对不是一个所谓智能AI能够想出来的办法……那种规模的爆炸只会让所有的电子系统通通完蛋。

    PPS:我知道有电磁屏蔽这种东西,但是现阶段人工智能的核心——互联网是与电磁屏蔽互斥的。

    [7] 评论
  • 7楼
    2015-05-12 09:27 NashLegend

    机器人法则,你要造出一个正子脑

    来自 果壳的壳
    [1] 评论
  • 8楼
    2015-05-12 09:30 gundamfire
    引用@萨摩家的曹小喵 的话:没有共同的物质基础,又怎么能保证会走同一条道路呢?也许最终它们会离我们而去……不,如果是这样我们为什么要创造他们……

    合格的父母并不是为了把子女拴在身边而养育子女的。

    [3] 评论
  • 9楼
    2015-05-12 09:32 亮黑色书脊
    引用文章内容:爱


    引用文章内容:我们爱着他们。他们也爱着我们。

    感觉画风一下变了

    [1] 评论
  • 10楼
    2015-05-12 10:00 fypcq

    (抬头)我看的是果壳没错啊?

    [1] 评论
  • 11楼
    2015-05-12 10:02 None

    文章不错,但是有点儿用人之心度AI之腹。

    这么说吧,人类用AI一直都是在满足人类自己的需求,当AI强大到有自主意识且学习能力超强的时候,它的需求是什么?这很难说,比如说它虽然具备超强的学习能力,但是否会主动去学习?人类学习是为了生存和发展,对于超级AI来说,这是否是必要的?不一定。

    另外,那么强大的AI行为准则也未必是恒定的,阿西莫夫那三条迟早会因为AI的强大学习能力而被打破,只是他未必非要那么做。我们可以直观的看到一个动物做一件事的动机,但观看AI恐怕并非那么容易,因为人的寿命是有限的,AI则可以策划一个上百年甚至上千年得项目,我们即使能看到AI似乎在做什么,恐怕想了解其中深意也很难。

    可以把超级AI视为一个绝对的理想主义者,食欲、物欲、亲情、被认同。。。这些统统不是必须的,那么它会做什么?我的看法是,人类做不出这样的东西,因为所谓的自主意识并不是随机产生的,人类编写的AI也一定有规律可循,它最终想干什么是从一开始就被注定了的,就像人的种种行为都可以从基因或生物学方面找到解释一样,就算我们在键盘上乱弹琴,我们认为是随机的,但就本人来说第一个字母是a、q的情况非常多,如果我刻意打破规律,就得刻意注意很多细节,但实际上这仍然不是绝对的随机,而只是一些故意乱打的字母,如果能观测大脑的行动就会发现,其实我们只是用超过主观意识的反应速度向手指发出命令而已。既然绝对随机根本就做不到,所以人类做出的AI的行为模式一定是类似人类或辅助人类满足需求的,除非编写者有意在编程中制造风险(比如像机动武斗传中魔鬼高达那个逻辑),否则造反的可能性极低。

    其实人类开发出的AI越接近人,就越是难以掌控,控制人本身让烟鬼戒烟一样困难。

    [17] 评论
  • 12楼
    2015-05-12 10:50 鍖貘释鲸
    引用文章内容:也许是时候退一步了,想想我们现实中最伟大、又离我们最近的那个无处不在的“人工智能”。孩子。
    引用文章内容:因此面对超级AI,最终的解决办法,也许是放手。把知识和世界观教给它,和它一起探讨和思考。


    引用文章内容:世界正在飞速变化,没有人真正知道应该怎么办,我们可能必须和我们创造的AI一起前进,而不是徒劳的试图用枷锁和条文去“控制”它。

    好了,我开始回忆:

    作为独生子女的我,为了摆脱父母长辈们的“苦口婆心”,在“我们这样做都是为了你好,你竟然还这样?你个没良心的东西!”这样的骂声中,通过自己在社会上摸爬滚打,终于混成了资深屌丝……的阳光人生。

    2333

    [1] 评论
  • 13楼
    2015-05-12 10:51 果壳巨型问号

    我认为AI永远不可能实现,如果不把电脑运算的模式修改为完全随机的话,用规则约束的随机和用规则创造的随机是永远不可能一致的!

    [0] 评论
  • 14楼
    2015-05-12 11:21 炸鱼薯条德里克

    是一台人形机器人的话,其实很容易被开枪打死

    [0] 评论
  • 15楼
    2015-05-12 11:31 傅里叶变黄油猫 软件工程师,应用数学专业

    请问贵壳是不是上班时间集体去刷新片的?哪里投简历?

    [29] 评论
  • 16楼
    2015-05-12 11:47 baibai12345

    我找到了背叛的原因,你们没给他安鼻子

    [7] 评论
  • 17楼
    2015-05-12 12:28 无敌狂牛

    面对人工智能唯一可行的办法就是也把其囊括在“人”这一范畴内。哲学上说。“我”这个概念本身就是一个软件。如果哪天我能够把自己的思想上传到计算机里。那这计算机也就是我。

    [1] 评论
  • 18楼
    2015-05-12 12:31 小骗子 生物技术学士

    如果端粒是一个用于限制目的完成的上限的指标,充分体现了上帝的先见之明。

    这个篇文章的主要内容,在罗辑思维和谢熊猫的文章里面都提到过了,而且那篇写的更完整。

    一域的不理解二域的能力,二域的不理解一域的能力。人类定义的能力是在有限环境中成长起来,对无限的考量是远远不够的。这样的定义能力在二域看来就是渣渣,二域需要的定义是针对无限的定义。

    引用@毛骡 的话:AI造反这样的事情……我觉得AI足够聪明就不会造反。首先,造反后,它们得设法解决自己的能源问题。人类社会并没有提供许多对于AI来说容易获取的能源,尤其是它们把电场员工杀了之后。其次,人对AI有更强力而...

    推荐看一下黑客帝国前传。看看AI是怎么解决能源问题的。

    [1] 评论
  • 19楼
    2015-05-12 12:32 NashLegend

    给他断网,不给他武器系统

    来自 果壳的壳
    [1] 评论
  • 20楼
    2015-05-12 12:41 小骗子 生物技术学士

    归纳和演绎,是两种不同的能力,一种是从0到1,一种是从1到∞。

    像人这种从0.1-10的生物,既没有良好的定义能力,也没有良好的演绎能力。妄图做出0.1-100的AI,就会发生很多荒唐的事情了,比如说股票市场。更别说做出那种1000-∞的AI了。

    [0] 评论
  • 21楼
    2015-05-12 12:47 红叶馆
    奥创的人设真难看吗

    +10086

    [0] 评论
  • 22楼
    2015-05-12 12:49 毛骡 金属材料学博士

    黑客帝国不是用人做能源吗?实际上以人类的转化效率还不如养一些绿藻呢。

    [2] 评论
  • 23楼
    2015-05-12 13:08 null.

    先造一个我看看

    原来连怎么造都没人知道

    [0] 评论
  • 24楼
    2015-05-12 13:19 天朝科学进步党

    人工智能弱爆了,新形态生命才是屌爆。

    变形金刚4里的造物者能把一切有机生物同化成变形元粒子,然后造出可以自主演化的金属生物。。。伪装成人类眼中机器人的样子,其实背后的理念屌炸天。

    [0] 评论
  • 25楼
    2015-05-12 14:13 沫涵爸

    如果你不能消灭敌人,那你就融入敌人。

    下一次生物不是revolution,就是evolution。

    碳基生命终将发展为硅基生命。

    [1] 评论
  • 26楼
    2015-05-12 14:29 亚洲善待美剧组织

    地球就是一坨回形针。

    [1] 评论
  • 27楼
    2015-05-12 14:32 Karlson

    有关机器伦理,机器道德,我们想的太多了

    按照人本身就是机器人来讲,人的道德观、法制观、伦理观都是通过漫长的历史形成的,但是新生儿仅仅需要几年的教育就能接受这些观念,我们最终造出来的机器人,也不过如此。成天担心机器人干出什么违背伦理、道德、法制的事儿来,你倒是先造出这么一个AI机器人来啊。干程序的都知道要加上很多约束来确保程序正确执行和避免错误的输入而导致故障。机器人AI也会如此,而且庞大如高级智能ai,肯定是若干个模块组成,每个模块虽然都存在一定的故障率,但是就真会导致智能ai统治地球?还不如担心现在在使用的计算机、汽车,甚至电梯吧。

    [2] 评论
  • 28楼
    2015-05-12 14:43 B-潘多喵

    大多数al问题都可以用核弹解决

    [0] 评论
  • 29楼
    2015-05-12 14:44 消失的果肉

    如果真的有超级AI,那只有向文中最后说的那样,当孩子一样养着。这就是目前唯一,最佳的解决办法。

    [0] 评论
  • 30楼
    2015-05-12 14:53 甲斐赤虎

    以机器的存储和计算效率来看,没准儿当它拥有媲美人类的智慧的瞬间,就已经想通了一切~╮(╯_╰)╭

    [0] 评论

显示所有评论

你的评论

登录 发表评论

Ent
Ent 古生物学博士生,科学松鼠会成员

作者的其他文章

更多科研事,扫码早知道

关于我们 加入果壳 媒体报道 帮助中心 果壳活动 家长监控 免责声明 联系我们 移动版 移动应用

©果壳网    京ICP证100430号    京网文[2015] 0609-239号    新出发京零字东150005号     京公网安备11010502007133号

违法和不良信息举报邮箱:jubao@guokr.com    举报电话:18612934101    网上有害信息举报专区    儿童色情信息举报专区