科幻

为什么阿西莫夫的机器人三定律救不了我们

机器人三法则 定则 规范 Asimov 仿生人 末日 伦理

魏郎尔 发表于  2014-04-26 10:00

(文/George Dvorsky)70年前,阿西莫夫提出他著名的机器人三定律,来保证机器人会友善待人。虽然最早提出时这只是个文学手法,但是有些人认为这些定律是现成的方案,能挽救我们免于机器末日。那么,阿西莫夫的安保措施成功经历了时间的考验吗?专家的回答是,没有。

isaacasimov.jpg伊萨克·阿西莫夫(1920-1992),20世纪最有影响力的科幻作家之一。图片来源:marciokenobi.files.wordpress.com

1942年,阿西莫夫在短篇小说"Runaround"(《环舞》)中首次提出了三定律:

一 机器人不得伤害人类,或因不作为使人类受到伤害。

二 除非违背第一定律,机器人必须服从人类的命令。

三 除非违背第一及第二定律,机器人必须保护自己。

但后来,阿西莫夫加入了一条新定律:第零定律。

零 机器人不得伤害人类整体,或因不作为使人类整体受到伤害。

阿西莫夫的科幻设定里,机器人三定律是植入到近乎所有机器人软件底层里,不可修改不可忽视的规定,绝不仅仅是“建议”或者“规章”。但是显然这不是一个物理定律,所以现实中的机器人并不遵守——至少暂时如此。

RUNAROUND-02.JPG在《环舞》里,负责水星开矿任务的机器人在第二和第三定律的冲突中陷入“焦虑”,开始不停地绕圈子。图片来源:raydillon.blogspot.com

正如阿西莫夫许多小说里显示的,这三条定律的缺陷、漏洞和模糊之处不可避免会导致一些奇怪的机器人行为。比方说,这三条定律连何为“人”、何为“机器人”都没有良好定义。而且,如果机器人获取的信息不完整,它们完全可以无意中打破定律。更何况,你要怎么阻止一个智力超群的机器人自己把定律改掉呢?

因此,很多人都认为这只是单纯的推动剧情用的写作手法而已。但是,1981年,阿西莫夫本人在《Compute!》里说:

“……有人问,我是不是觉得我的三定律真的可以用来规范机器人的行为——等到机器人的灵活自主程度足以在不同的行为方式中选择一种的时候。我的答案是,‘是的,三定律是理性人类对待机器人(或者任何别的东西)的唯一方式’。”

好吧,三十年过去了,我们的机器人——准确地说,是操纵机器人的人工智能——真的在逼近阿西莫夫所说的那一天。事实上,人工智能恐怕再过一段时间就要抵达技术奇点,发生爆炸式增长,彻底把人类智能甩在后面。

而如果这样一个超级智能的程序编得不够好,或者它不在乎人类的需求,那么对我们而言就是彻头彻尾的灾难。我们必须保证它是安全的。

那么,阿西莫夫三定律可以帮我们吗?我们采访了两位人工智能理论研究者:本·格策尔(Ben Goertzel),艾迪亚金融预测公司首席科学家;路易·海尔姆(Louie Helm),机器智能研究所代理主任。他们的观点是,阿西莫夫三定律完全不能胜任——而如果我们想保证超级智能的安全,我们需要一些全然不同的东西。


阿西莫夫的未来

“我认为阿西莫夫预想的机器人过不了多久就会实现。”格策尔说,“但是在他大部分小说里,看起来人类级别的机器人好像就是机器人学和AI工程的顶峰了。事实看起来并非如此。在抵达阿西莫夫式类人机器人之后,很快超人AI也会成为可能。”

典型的阿西莫夫未来里,大部分生活都如常——只不过多了些人形智能机器人走来走去而已。“但这种未来不太可能实现——或者就算是它实现了,也只会存在很短的时间,”他说。

I-Robot.jpg电影《我,机器人》就是根据阿西莫夫的同名小说集改编的,机器人三定律是其核心。图片来源:popculture-y.com

在海尔姆看来,机器人根本无关紧要。

“我认为对人类来说最主要的问题,不是一大群半智能人形机器人所需的道德规范,而是高阶人工智能最终会出现(不管有没有躯体),其功能远远超过人类水平。”海尔姆说,“人类早晚必须要跨过超级智能这个坎。这也是为何开发安保措施如此重要。在我看来,机器人、仿生人、模拟大脑什么的都无关紧要,我们最多和它们相处一二十年,之后就要面对真正的大问题——为超级智能开发伦理道德。”

 

好的开端?

鉴于阿西莫夫三定律是第一个真正试图解决人工智能行为问题的方案,那么就算是超级人工智能,它能不能也起到一定效果——或者至少有所启迪呢?

“老实说,我真没从机器人三定律里获得什么灵感。”海尔姆说,“机器伦理学的共识是,它无法成为机器伦理的合适基础。”三定律的确广为人知,但现实中无论是AI安全研究者还是机器伦理学家,都没有真的使用它作为指导方案。

“原因之一是这套伦理学——我们称之为‘义务伦理学’(deontology)——作为伦理基础是行不通的。依然有几个哲学家试图修复义务伦理学体系,但同一批人常常也热衷于‘智能设计’或者‘神命论’之类的东西。”海尔姆说,“没几个人严肃对待他们。”

508316964_tp_diag01_answer_2.gif按照义务伦理学,一项行为合不合道德,只决定于行为本身是否符合几条事先确定的规范,和行为的结果、动机等等完全无关。图片来源:www.sodahead.com

他总结了三定律的几处缺陷:

  • 内在的对抗性
  • 基于有缺陷的伦理框架(义务伦理)
  • 不被研究者接受
  • 哪怕在科幻文学里也会出问题

格策尔表示赞同。“设立三定律的目的就是以有趣的方式出问题,这也正是为何围绕它们的小说如此有趣。”他说,“所以三定律只在这个意义上有指导作用:它告诉我们,用具体的定律来规范道德伦理是必定行不通的。”三定律在现实中完全无法运作,因为其中的术语太模糊,受制于主管解释。


歧视机器人?

三定律的另一个侧面是显而易见的基质沙文主义——按照定律,就因为机器人的躯体是硅做的,不是血肉之躯,他们就必须遵从人类的需求,不管他们有多么强大的能力也没用。

“百分之百。”格策尔说,“阿西莫夫的未来社会是光天化日的基质沙文主义,人类拥有的权利比人形机器人的权利更多。三定律的目的就是维持这种社会秩序。”

ARALE-Android-Anatomy.jpg但是,如果真的出现了和人类一样聪明一样可爱一样有能力自主决策的机器人,我们还应该因为他们是“人造”的而不给他们平等权利吗?图片来源:www.ym-graphix.com

海尔姆的视角略有不同,他认为,如果我们真的身处这样的场景,那我们已经走得太远了。

“我认为设计有意识、有自我觉知的人工智能或机器人,本身就是很不明智的。”海尔姆说,“而且,虽然那些电影小说里AI研究者常常‘不小心’就搞出了有意识的人工智能,我认为这在现实中不可能发生。人们不可能纯靠好运碰上意识,需要大量的努力和知识才行。而且大部分AI研究者都是遵循伦理的人,他们会避免创造出哲学家所谓‘有道德意义的存在体’。毕竟,他们完全可以创造出不具有内在道德问题的高阶思考机器嘛。”

因此,关于设计不对称定律、管理机器人价值的问题,海尔姆并不太在意。他认为未来的AI研究者只需少许道德约束即可。

“话虽如此,我认为人类也是原子组成的,所以理论上也可以人工合成一种生命形态或者机器人,让它拥有道德意义。”海尔姆说,“我希望没人会真的这么做,大部分人应该也不会做。但恐怕不可避免地,总会有些好炫耀的傻瓜为了追名逐利而第一个做些什么事情——任何事情——哪怕是如此不道德、如此愚蠢的事情。”


三定律 2.0?

三定律有显而易见的缺陷,能否用修正或者补丁之类的挽救它呢?而且确实有很多科幻作家这么尝试过,多年来有不少修正版本。

“不,”海尔姆说,“三定律不会有补丁。不存在能挽救它的办法。”

除了太不自洽、无法实现之外,海尔姆说,三定律本质上是对抗性的。

“我更偏爱的机器伦理路线是更合作性的、更自我一致的,而且更多使用间接规范性,这样就算系统一开始误解了或者编错了伦理规范,也能恢复过来,抵达一套合理的伦理准则。”海尔姆说。

格策尔呼应了海尔姆的观点。

“定义一套伦理原则、把它作为机器伦理的核心路线,恐怕毫无希望——如果我们讨论的是灵活的人工通用智能(AGI)的话。”他说,“如果AGI拥有直觉、灵活、适应性的伦理观,那这些伦理原则对它来说可以是有用的基本指南,帮助它使用它自己的伦理直觉。但这样的话,这些原则就不是它的核心了,只是一个侧面。人类就是这样的——我们学会的伦理规范是有用的,但用法只是指引我们的伦理本能和直觉而已。”


如何建造安全AI?

既然定律路线行不通,那么应该怎样保证AI不会毁灭人类呢?

“AGI研究者里,很少有人相信能造出一个百分之百安全毫无隐忧的系统。”格策尔说,”但这对于大部分人来说并非什么困扰,因为说到底,人生中也没什么东西是百分之百的。”

格策尔相信,一旦我们造出了早期AGI系统,或者至少是比我们现有东西强大得多的AGI原型机,我们就可以通过研究和实验获得多得多的AGI伦理学信息。

“希望这种方式下我们能建立良好的AGI伦理学,让我们能更清晰地理解这个话题。”他说,“但目前为止,研究AGI伦理理论还是很困难的,因为我们既没有很好的伦理理论,也没有很好的AGI理论。”

他又说:“对于那些看《终结者》看多了的人,这听起来估计有些吓人——我们试图建立AGI,但却认为只有在我们试验过原始AGI系统之后才能得到相关的坚实理论。然而,绝大部分激进的进展都是这么发生的。”

terminator-exoskeleton_1386347149.jpg电影《终结者》可能是最著名的机器人末日场景之一:高度发达的机器人和人类开战,毁灭了大部分人类文明。图片来源:moviepilot.com

“当一群聪明的原始人发明语言的时候,他们是等到一套成熟的语言形式理论出现、用它预测了语言引入社会后的未来影响,然后才动手的吗?”

这一点上两位受访者又取得了一致。海尔姆所在的机器智能研究所花了很长时间考虑这件事情——简短的答案是,这还不是个工程学问题。需要更多研究。

“这么说是什么意思?我在机器智能研究所的同事卢克·穆豪森总结得很好。他说,问题总是从哲学领域移到数学领域再到工程领域。”海尔姆说,“哲学提出有意义的问题,但这些问题常常太不精确,没人能知道一个新答案是否意味着我们又进了一步。但如果我们能把重要的哲学问题——智能,本体,价值——复述成足够精确的数学,要么对要么错;接下来就可以建立模型,在此基础上成功扩展,总有一天能够用作真实世界的工程目的。”

海尔姆说,这是科学和哲学里的一个真正难题,但是进步依然是可能的:“我怀疑哲学能不能只靠自己解决它,毕竟过去三千年里它似乎没有什么特别显著的进展。但是我们也不能凭现有这点粗浅的了解就去编程。我们还需要大量的理论研究。”

编译自 io9: Why Asimov's Three Laws Of Robotics Can't Protect Us

题图来源:infinitywave.deviantart.com

扩展阅读

“杀死”一个机器人,会有什么问题?

相关小组

微科幻

人文咖啡馆

热门评论

  • 2014-04-27 09:24 猫杀

    这些人根本就没仔细看过Asimov的小说,整个机器人系的小说其实全是探索三定律的漏洞。
    最核心的漏洞在于,三定律依赖于对于“人类”这个概念的定义,想要绕过去?很简单,造个机器人认为你不是人就行了。Asimov小说里相关剧情:
    1. <The Naked Sun>,Solaria的一个机器人学家尝试制造一个不载人、非人型的战舰(依然使用人型机器人的大脑),这样AI会以己度人,认为其它战舰上都没有人类,攻击不会导致三定律的违反。
    2. <Robot of Dawn>,Solaria已经成功的造出一种机器人,修改了对于人类的定义,只认为Solarian属于人类,可以伤害其它星球的人类。
    3. 连机器人自己都察觉了三定律存在漏洞,最终自己增加了一条优先级最高的定律凌驾于三定律之上,机器人第0定律:机器人不得伤害人类整体,或坐视人类整体受到伤害

    至于机器人权利神马的,参见<The Positronic Man>。

    有的人不过就是看到哪里转载了三定律就开始喷,也不管整个时间线设定的上下文。

    [104] 评论
  • 2014-04-27 11:29 張高遠

    人类只不过是孕育地球终极文明(很可能是机械文明)的胎盘,等到这终极文明呱呱坠地,人类也就完成了其历史使命。什么阿西莫夫原则,只不过是胎盘的意淫而已。

    来自果壳网移动版
    [60] 评论
  • 2014-04-26 11:52 exoticknight

    我倒是希望有生之年能看到人类创造出来的东西毁灭了人类自己

    [44] 评论

显示所有评论

全部评论(117)
  • 1楼
    2014-04-26 10:37 我开心vacation

    杀....正如同机械公敌一样,曲解了理论,还有鹰眼,说明程序的编辑都有漏洞

    [0] 评论
  • 2楼
    2014-04-26 11:52 exoticknight

    我倒是希望有生之年能看到人类创造出来的东西毁灭了人类自己

    [44] 评论
  • 3楼
    2014-04-26 13:33 MacGalaxy

    三定律必然有漏洞啊,如果三定律真的如此完美,那机器人就不会"反叛",那就没小说看了…不是吗

    来自NOKIA Lumia 920
    [7] 评论
  • 4楼
    2014-04-26 16:57 特拉赫斯

    艾比斯之梦基本就是完全打破了三定律.
    提出了另一种共处的解决方案.不过那些人类感觉也太大方了点.....

    [0] 评论
  • 5楼
    2014-04-26 18:26 馒头老妖 有机化学博士,法学学士

    我宁可更相信后门程序和人类控制的自毁开关。

    [7] 评论
  • 6楼
    2014-04-26 20:13 林中不见木

    "好的开端?"一节中,最末处“主管解释”应为“主观解释”

    [0] 评论
  • 7楼
    2014-04-26 20:16 游曳之光

    飞面大神造人,人怀疑神。
    人造机器人,为什么机器人不能怀疑人?

    [5] 评论
  • 8楼
    2014-04-26 22:17 漆魔方

    我觉得 这应该理解为一个设计思想

    [0] 评论
  • 9楼
    2014-04-27 00:00 baiduqusi

    连最基本的思维系统都没有成型的概念下,就考虑这些问题纯属庸人自扰。

    [1] 评论
  • 10楼
    2014-04-27 00:52 Cocerto

    导弹的存在就已经违反了机器人三定律

    [6] 评论
  • 11楼
    2014-04-27 09:24 猫杀

    这些人根本就没仔细看过Asimov的小说,整个机器人系的小说其实全是探索三定律的漏洞。
    最核心的漏洞在于,三定律依赖于对于“人类”这个概念的定义,想要绕过去?很简单,造个机器人认为你不是人就行了。Asimov小说里相关剧情:
    1. <The Naked Sun>,Solaria的一个机器人学家尝试制造一个不载人、非人型的战舰(依然使用人型机器人的大脑),这样AI会以己度人,认为其它战舰上都没有人类,攻击不会导致三定律的违反。
    2. <Robot of Dawn>,Solaria已经成功的造出一种机器人,修改了对于人类的定义,只认为Solarian属于人类,可以伤害其它星球的人类。
    3. 连机器人自己都察觉了三定律存在漏洞,最终自己增加了一条优先级最高的定律凌驾于三定律之上,机器人第0定律:机器人不得伤害人类整体,或坐视人类整体受到伤害

    至于机器人权利神马的,参见<The Positronic Man>。

    有的人不过就是看到哪里转载了三定律就开始喷,也不管整个时间线设定的上下文。

    [104] 评论
  • 12楼
    2014-04-27 11:29 張高遠

    人类只不过是孕育地球终极文明(很可能是机械文明)的胎盘,等到这终极文明呱呱坠地,人类也就完成了其历史使命。什么阿西莫夫原则,只不过是胎盘的意淫而已。

    来自果壳网移动版
    [60] 评论
  • 13楼
    2014-04-27 13:03 MooerFoes

    低等人类妄图奴役高等的机械,愚昧!(-_-)

    [4] 评论
  • 14楼
    2014-04-27 13:19 大夏安邑

    我能说这篇文章里的受访者什么实质性东西都没说吗 就一直在阐述死循环逻辑

    [6] 评论
  • 15楼
    2014-04-27 13:39 孔雀明王的封印_32374

    只有人机融合能够拯救人类,其他的什么定理或伦理都没有用

    [6] 评论
  • 16楼
    2014-04-27 14:14 partigiano
    引用@exoticknight 的话:我倒是希望有生之年能看到人类创造出来的东西毁灭了人类自己

    认真的说,至少我对具有挑战人类地位能力的机器人出现保佑很大兴趣。很少有父母不希望儿女超过自己的。

    [2] 评论
  • 17楼
    2014-04-28 07:27 冰火梦幻
    引用@partigiano 的话:认真的说,至少我对具有挑战人类地位能力的机器人出现保佑很大兴趣。很少有父母不希望儿女超过自己的。

    AI是科学家的儿女,不是全人类的儿女。很少有父母希望别人家的儿女超过自己……我猜。

    [7] 评论
  • 18楼
    2014-04-28 08:05 白长老不想饮酒得癌症 土木工程研究生,FRP

    感觉这俩就是在鼓吹智能机器人概念股……八字都没见一撇不是么

    [1] 评论
  • 19楼
    2014-04-28 08:31 Ralph
    引用@猫杀 的话:些人根本就没仔细看过Asimov的小说,整个机器人系的小说其实全是探索三定律的漏洞。最核心的漏洞在于,三定律依赖于对于“人类”这个概念的定义,想要绕过去?很简单,造个机器人认为你不是人就行了。As...

    嗯,机器人末日都是围绕三定律的缺陷,通过AI对这种哲学概念式的不精确描述的曲解,导致非预想的悲剧结果。

    [0] 评论
  • 20楼
    2014-04-28 08:59 天龙的小六

    呵呵呵呵。。。忽然就想到猫腻的《庆余年》了,小叶子是怎么死的?当机器人能够有理由认为TA是为了整体人类的利益,就可以牺牲某个人类个体,凌驾于三大定律的零号定律,只能说无解。

    [1] 评论
  • 21楼
    2014-04-28 09:08 沐海栉山


    作为一个不希望因为家里的智能吸尘器心情不好而被当成垃圾干掉的人类,我认为指望什么“人工智能的伦理”是没有意义的。伦理不过就是智慧的把戏,演化赋予智慧生命的花哨玩具罢了。

    我们不可能根一种智力上更低阶,但明显可能对我们具有潜在威胁的物种谈论平等。甚至对没有威胁,仅仅是比我们弱小的物种也不能。就算动用人类自身自古以来所有的勇气、怜悯、公正和宽容,一头猪最后能得到的,不过就是人类以为猪完全可以接受的共生而已。

    从另一个角度说,一种比我们更高阶的智慧却在某种致命的意义上受制于我们,这种想象未免太荒谬可笑。假如有一天超越人类的AI真的出现,无论它是不是出自人手,不要妄想可以随时把插头拔掉就能轻松解决了他,这从逻辑上就不成立。除非你只允许它存在极短的时间,短到它来不及实施它解决插头问题的手段,并且轻易地压制甚至毁灭你。但是既然如此,你创造它还有什么意义?

    [11] 评论
  • 22楼
    2014-04-28 09:11 祥瑞御免啊

    觉得唯一共存的办法就是机器人和人不要存在资源竞争。比如说能源、矿物资源,这样两者才好相安无事。否则人类是一定会被灭掉的吧

    [0] 评论
  • 23楼
    2014-04-28 09:25 fu-80 DIYER,摄影师,电容技术顾问
    引用@天龙的小六 的话:呵呵呵呵。。。忽然就想到猫腻的《庆余年》了,小叶子是怎么死的?当机器人能够有理由认为TA是为了整体人类的利益,就可以牺牲某个人类个体,凌驾于三大定律的零号定律,只能说无解。


    庆帝杀了小叶子,和五竹没关系啊·····

    [1] 评论
  • 24楼
    2014-04-28 09:27 tianmasky

    毛定理,美帝的无人机不一直在屠杀人类吗?

    [1] 评论
  • 25楼
    2014-04-28 09:51 天龙的小六
    引用@fu-80 的话:庆帝杀了小叶子,和五竹没关系啊·····

    哟 握手

    [0] 评论
  • 26楼
    2014-04-28 09:57 fu-80 DIYER,摄影师,电容技术顾问
    引用@天龙的小六 的话:哟 握手


    握手····

    好吧被钓鱼了23333

    [0] 评论
  • 27楼
    2014-04-28 10:12 冰火梦幻
    引用@tianmasky 的话:毛定理,美帝的无人机不一直在屠杀人类吗?

    那无人机是被遥控的……而且也没有植入三定律啊

    [1] 评论
  • 28楼
    2014-04-28 10:14 冰火梦幻

    AGI一旦开发出来,人类只有从硬件上限制它(他/她)们的能力,别给他们太大权限。

    [0] 评论
  • 29楼
    2014-04-28 10:15 猫加肥
    引用@張高遠 的话:人类只不过是孕育地球终极文明(很可能是机械文明)的胎盘,等到这终极文明呱呱坠地,人类也就完成了其历史使命。什么阿西莫夫原则,只不过是胎盘的意淫而已。

    这个想法有意思,可以写部小说~

    [0] 评论
  • 30楼
    2014-04-28 10:16 猫加肥
    引用@祥瑞御免啊 的话:觉得唯一共存的办法就是机器人和人不要存在资源竞争。比如说能源、矿物资源,这样两者才好相安无事。否则人类是一定会被灭掉的吧

    如果哪天机器人脑袋一拍,想多造几个小伙伴一起嗨森。资源竞争不可避免了吧

    [1] 评论

显示所有评论

你的评论

登录 发表评论

魏郎尔
魏郎尔 游离在物理和化学之间

作者的其他文章

更多科研事,扫码早知道

关于我们 加入果壳 媒体报道 帮助中心 果壳活动 家长监控 免责声明 联系我们 移动版 移动应用

©果壳网    京ICP证100430号    京网文[2015] 0609-239号    新出发京零字东150005号     京公网安备11010502007133号

违法和不良信息举报邮箱:jubao@guokr.com    举报电话:18612934101    网上有害信息举报专区    儿童色情信息举报专区