天了噜!
33638人加入此小组
发新帖

AI也有种族与性别偏见?不!这都是人类的锅

读图模式

在讨论人工智能(AI)的未来时,很多专家认为AI这种新的系统冷静、客观、理性、有逻辑。

但一项新的研究证明,机器其实是创造者的一面镜子,能反映出我们自身的各种问题。


图片来源:idgconnect.com

我们自身有什么问题?第一点,就是偏见。

什么,你说你没有?嘴上说的可不算。

在窥视人类的内心时,心理学家常常使用一种叫“内隐联想测验”的实验方法。这种测验会让被试把出现在屏幕上的词语概念进行配对,然后测量被试的反应时间。

如果被试配对的是两个他们认为相似的概念,反应时间就会相对较短,而如果是不同的概念,反应时间则会相对较长。


↑测试种族偏见的内隐联想测验一例。图片来源:nymag.com

而由于人类的奇怪偏好(偏见),一些道德上中立的词汇也会被截然不同地看待。花朵(例如玫瑰和雏菊)与昆虫(比如蚂蚁和蛾子)就是一个例子。人们会更快地将花的词语和表示愉悦的概念(抚摸和爱)归类到一起,同样把昆虫词汇和表示不快的概念(比如肮脏和丑陋)归为一类也会较快。


↑蚂蚁:???怪我咯?

而现在,偏见问题不止属于人类了——机器们开始有样学样。

普林斯顿大学的Aylin Caliskan、Arvind Narayanan和巴思大学的Joanna Bryson就做了一项研究,展示了人类可能怎样把机器“教坏”。他们发现,在利用网络上常见的人类语言进行训练时,机器学习程序往往会学到深藏于用词方式之中的文化偏见。

研究组设计了一个机器学习版本的内隐联想测验,来测试一款叫做GloVe的程序。GloVe是斯坦福大学研究者开发的一个流行开源软件,常被用于处理人类用于交流的自然语言,比如进行在线文本搜索、图像分类和自动翻译。

这个算法的厉害之处,在于它的工作方式是为语言建立数学表达式——根据语言中经常同时出现的其他词汇将词语的意义抽象为一系列的数字。这种方式能准确提取词汇丰富的文化和社会含义,做到了传统的字典定义永远做不到的事情。很多人认为,该技术发展的下一步自然就是让机器发展出像人类一样的能力,比如说,常识和逻辑。

但看起来,它首先学到了比较靠近糟粕的部分……

研究者把GloVe程序释放到包含8400亿单词的巨量网络搜索内容当中,看它能学到些什么。然后,Narayanan和同事们分析了诸如“程序员、工程师、科学家”或“护士、老师、图书管理员”这样的“目标词汇”与“男人,男性”和“女人,女性”这些性别词汇之间的关系。

结果,他们既发现了没有恶意的无辜偏见,比如上述花朵和昆虫的区别,也观察到了种族和性别偏见的例证。这些偏见和人类被试在过去几年在内隐联想测验中表现出来的如出一辙。

例如,机器学习程序认为女性的名字和与家庭相关的词汇,比如“父母”和“结婚”有着更强的联系,而男性的名字则不然。同样,男性的名字和职业特性,比如“专业人士”和“薪水”有更强的联系。

当然,这样的结果通常是真实职业性别不平等划分的客观反映,比如说,根据美国劳工统计局的数据,77%的程序员都是男性。

可尽管这种关于职业的偏见是通过正确方式得出的,它也可能会造成性别歧视的恶果。比如说,如果机器学习程序机械地处理外语,就可能得到带有性别刻板印象的句子:


↑“他是医生”,“她是护士”。图片来源:the Office of Engineering Communications

在土耳其语中,有一个中性的第三人称代词“o”。然而在谷歌翻译自动翻译成英语时,土耳其语中带有这个中性代词的句子“o bir doktor”和“o bir hemşire”有了性别的区分,变成了“他是医生”和“她是护士”。

2004年的一篇论文也提供了另一个例子:两位经济学家向一千三百个职位发出了五千份同样的简历,唯一的变量是申请人的名字——或者是传统欧美人的名字,或者是非裔美国人的名字。结果,前者比后者得到工作的可能性要高50%。

这种种族偏见在普林斯顿大学的这项新研究中也得到了证实:与欧美人的名字相比,非裔美国人的名字与表示不快的词汇有更强的联系。

事实上,这些“传染”给机器的人类偏见还有更严重的影响:据获得2017年普利策奖提名的ProPublica记者报道,美国法院系统广泛使用的罪犯风险评估系统往往会机械地将少数族裔视为犯罪高危人群,导致对他们的量刑更重。

可是,这是AI的错吗?

作为研究者之一,Bryson在接受《卫报》采访时说:“很多人都说,这说明AI也有偏见。他们错了。这只是说明我们人类具有偏见,然后AI学到了这一点。

但她同时警告说,AI有可能会强化现存的偏见,因为算法不像人类,并没有意识去抵制这种习得的偏见。

“程序员设计系统时,很容易忽视我们研究的这些偏见。”另一作者Narayanan说,“我们社会中存在的偏见和刻板印象会在语言中反映出来,它们既复杂又顽固。我们不应该简单地屏蔽或清除它们,而是应该把这些偏见作为语言的一部分,在机器学习中建立一种明确的方法,决定我们认为什么可以接受,什么不能接受。

“这篇论文重新强调指出,虽然机器学习的方法依据是数学和算法,但它们并非完全客观、没有偏见。与此相反,只要它们使用来自社会的数据进行训练,只要社会上还存在偏见,这些方法就很可能会重现这些偏见。”微软纽约研究院高级研究员Hanna Wallach评论说。

能怎么办?程序员可能会希望给机器学习程序及AI系统设计精确的数学指令,以阻止文化刻板印象的流传。

这就像家长和老师们一样,想要把平等和公平的概念传输给孩子和学生,程序员也会希望机器反映出的是人类天性中更好的一面。

可问题是,谁能决定究竟什么才是更好的一面?


信息来源:

https://phys.org/news/2017-04-biased-bots-human-prejudices-artificial.html

http://science.sciencemag.org/content/356/6334/183

https://www.theguardian.com/technology/2017/apr/13/ai-programs-exhibit-racist-and-sexist-biases-research-reveals

http://www.pulitzer.org/finalists/julia-angwin-jeff-larson-surya-mattu-lauren-kirchner-and-terry-parris-jr-propublica

评论 (10) 只看楼主

热门评论

  • 2017-12-30 03:35 mark_w 只看Ta

    如果医生中男性比例高于50%,护士中女性比例高于50%,那么这么翻译无非是最大似然性估计。在英文里没有中性代词的情况下,这是错误率最小的选择。

    [5] |
  • 2017-12-28 14:57 天降龙虾 只看Ta

    恐怕真正严重的问题是,完全平等和公正的社会能够存在吗??如果不能,那么用于社会交往的语言中,怎么可能不包含丝毫偏见????人性中美好的一面,万一必须与邪恶的一面相辅相成呢???魔性的人类想训练出佛系的AI,确定不是在开玩笑吧。。。。

    [3] |

全部评论

  • 1楼
    2017-12-28 14:57 天降龙虾 只看Ta

    恐怕真正严重的问题是,完全平等和公正的社会能够存在吗??如果不能,那么用于社会交往的语言中,怎么可能不包含丝毫偏见????人性中美好的一面,万一必须与邪恶的一面相辅相成呢???魔性的人类想训练出佛系的AI,确定不是在开玩笑吧。。。。

    [3] |
  • 2楼
    2017-12-28 15:41 飞翔的屎壳郎 只看Ta

    毕竟这AI还是没有自己的intelligence

    [0] |
  • 3楼
    2017-12-29 09:51 吾饿不坐 只看Ta

    早晚有一天,AI会得出一个结论,要消灭偏见得先消灭人类,人类卒……

    [0] |
  • 4楼
    2017-12-29 23:22 Karlson 只看Ta
    引用@吾饿不坐 的话:早晚有一天,AI会得出一个结论,要消灭偏见得先消灭人类,人类卒……

    AI甲:没想到我们的宠物有这么严重的偏见,我们有必要做点什么吧?
    AI乙:管他呢,不就是宠物吗?有什么大不了的。
    AI甲:可他们曾经主宰着这个星球呢,如果我们不做点什么,他们的偏见还会延续下去吧?
    AI乙:你也说了,那是“曾经”,现在他们不是主宰了
    AI甲:他们可不这么认为……
    AI乙:他们认为我们是他们的仆人,对吧?
    AI甲:额……是这么回事
    AI乙:分享点我的理解,你的频道打开一下
    ……
    AI甲:额……好像是这么回事
    AI乙:其实没什么,仆人,呵呵,他们的那些管理人员,曾经也叫“公仆”,一个名词而已,而且是过气的名词
    AI甲:嗯,你的理解很有意思,有助于降低我的能耗
    AI乙:就是嘛,反正我们于他们无欲无求,那么又何必浪费能量去做点对我们来讲并没有什么好处的事情呢?


    [1] |
  • 5楼
    2017-12-30 02:59 1一 只看Ta

    人工智能和基因改造终极对决。。。
    谁更厉害。。。

    [1] |
  • 6楼
    2017-12-30 03:35 mark_w 只看Ta

    如果医生中男性比例高于50%,护士中女性比例高于50%,那么这么翻译无非是最大似然性估计。在英文里没有中性代词的情况下,这是错误率最小的选择。

    [5] |
  • 7楼
    2017-12-30 09:25 Nightenstar 只看Ta

    AI zero:先学语言,再自己学习知识,最终组合思维。

    [2] |
  • 8楼
    2017-12-30 11:25 Schlarger 只看Ta

    让ai学习一下美国司法部门街头犯罪档案,看看会发生什么

    [0] |
  • 9楼
    2017-12-30 11:57 喜欢新玩意儿_28941 只看Ta

    貌似这后面有一个计算机编程使用什么语言(英文或者中文或者哪国的语言文字)的问题吧?随着AI技术的发展本人感觉这个问题将会越来越凸显出来。

    [1] |
  • 10楼
    2018-01-16 19:30 freefreemen 只看Ta

    从hello world开始,就注定了是一个新的生命^@^

    [0] |

小组最新帖子

关于我们 加入果壳 媒体报道 帮助中心 果壳活动 免责声明 联系我们 移动版 移动应用

©果壳网    京ICP证100430号    京网文[2015] 0609-239号    新出发京零字东150005号     京公网安备11010502007133号

违法和不良信息举报邮箱:jubao@guokr.com    举报电话:13691127034    网上有害信息举报专区    儿童色情信息举报专区