数学

那些不靠谱的星座运程预测

那些不靠谱的星座运程预测

Yan 发表于  2011-01-23 22:38
/gkimage/l4/0q/ae/l40qae.png

仔细瞧瞧十二星座运程预测里那些似是而非、模糊不清的话语吧,难道你不会偶尔觉得其实每个星座的预测说得都是一回事吗?一个叫做information is beautiful的网站就将这种怀疑进行到底,搜集了流行的星座预测站点 Yahoo Shine 上诸多相关词条进行分析,试图用数据反驳那些不靠谱的星座预测。

上图是他们的成果之一,你会发现每个星座预测里面的高频词大多是相互覆盖的,而各个星座特有的高频词却只占很小部分(如图上红色字体所示)。这个结果自身是否靠谱呢?下面就来看看这些数据达人们的分析过程吧。

第一步:屏幕抓词

/gkimage/6x/hw/dy/6xhwdy.png

首先当然是从雅虎上获取这些星座预测的词条。复制粘贴是不可取的,于是他们找到Python编程达人Thomas,让他写了个屏幕抓取的脚本,从Yahoo Shine上有效率地获得了22,186个词条并导入到一个巨大的电子表格中。

当然事情进展也不如想象中顺利,像雅虎这样的大网站自然有自己的保护措施——如果同一IP太过频繁访问服务器,那么就会被认为是黑客,他的IP就会被封掉一段时间。当把握好这个“限速”的尺度后,他们很顺利地在12小时获得了所需要的原始数据,共9.5MB。

虽然这些数据不能全部公开,但是 Python脚本 却可以参考,你可以去看看他们编写的测试程序。

第二步:数据过滤

/gkimage/6o/34/24/6o3424.png

由于每个星座的预测都分为很多方面——职业、感情、每日运程等等,由于考虑到特定方面的运程分析会大量提到诸如“work”、“career”、“marriage”等词汇,所以为了方便,他们决定过滤其他分类,只分析关于每日运程的星座预测,共4,380个单词,平均下来就是每个星座365个单词。

第三步:文本分析

他们利用线上工具TagCrowd在这个文本库里寻找高频单词。首先分别找出每个星座词条里出现频率最高的50个单词,再从中挑选出每个星座独有的那些词汇,结果如下图所示。当然他们注意了要去掉那些如“and”、“for”、“is”等无意义的常见单词和“someone”、“really”、“quite”等语义量词。

/gkimage/83/2u/1o/832u1o.png

最终结论就是,在十二星座预测的词汇里,各自之间90%以上是相同的。所以,所谓的星座预测其实说得都差不多,相同的一些高频词汇拼拼凑凑成模糊不清的话语,再加之读者的对号入座就成了各自超准的预测。这帮人公布了他们所掌握的数据和整个分析过程,如果你有兴趣也可以自己分析试试,详细请看 这里

 

来源: informationisbeautiful

显示所有评论

全部评论(80)
  • 1楼
    2011-01-23 22:44 SleepyMushroom

    信星座运势的人都有娱乐精神,伤不起

    [0] 评论
  • 2楼
    2011-01-23 22:51 AmoMattia

    哈哈,少女时代还喜欢玩玩星座神马的,现在完全是嗤之以鼻了~

    [0] 评论
  • 3楼
    2011-01-23 23:02 Sheldon 理论物理博士,科学松鼠会成员

    看来还是要学python哪

    [0] 评论
  • 4楼
    2011-01-23 23:03 Maxwellsdemon 电子工程专业

    python威武……

    [0] 评论
  • 5楼
    2011-01-23 23:06 揭谛揭谛

    哈哈哈哈哈哈哈哈!!信星座的孩子你伤不起~~~~

    [0] 评论
  • 6楼
    2011-01-23 23:20 Starry night

    说到星座总会不由自主联想到《生活大爆炸〉,sheldon讽刺penny说:“是啊,这让我们知道你被大众文化所迷惑了,根据太阳的位置随便胡乱定个星座以及你的出生日期影响了你的性格。”

    [0] 评论
  • 7楼
    2011-01-23 23:44 独钓云海

    预言经常是模楞两可含糊不清的…这样的预言最准~只是技术不在预测而在解释

    [0] 评论
  • 8楼
    2011-01-23 23:54 FireKDragon

    表示为啥我的沙发评论不见了?!

    [1] 评论
  • 9楼
    2011-01-23 23:58 桑榆

    我喜欢看星座倒不是在乎那些东西准不准 仅当娱乐啦

    [0] 评论
  • 10楼
    2011-01-24 00:43 神秘人

    我表示看星座只是给自己的有些行为和心理趋向找理由而已。

    [0] 评论
  • 11楼
    2011-01-24 01:19 嚼嚼永恒

    只说了现象,没有深入分析啊,最后一句太概括了

    [0] 评论
  • 12楼
    2011-01-24 01:28 Maigo-_- 语言爱好者

    哈哈!像我这周的作业!

    [0] 评论
  • 13楼
    2011-01-24 09:09 筋斗云

    其实采用这样抓取,然后语义分析后重新输出,就可以成为新的星座大师了。
    SOHO办公。

    [0] 评论
  • 14楼
    2011-01-24 10:38 晓洁

    其实我也知道这么回事儿,但是看到了还是忍不住往自己身上套,呵呵~

    [0] 评论
  • 15楼
    2011-01-24 11:07 果仁

    英语不好,几点吐槽:1.这里列出的部分"大"高频词(feel keep sure)也类似于"is"这类词,应当过滤. 2.一两个单词的不一样也可以对句子意思产生很大影响吧? 3.很多相异的字眼很可能根本上不了高频词榜. 4.(可能跟2,3重复)信息论里面,出现概率越少的事件所含信息量越大,字眼也是一样吧?

    [1] 评论
  • 16楼
    2011-01-24 11:21 黛姑娘

    真纠结,我看通篇看下来,也觉得,这篇文章是个娱乐。。。

    [0] 评论
  • 17楼
    2011-01-24 13:01 Rennechon

    小会占星,就我的经验,除去那些模棱两可、大体相同的叙述,星盘还是可以拿出一些真料的,有想深入探索的童鞋我可以给你看个盘。抓词不能完全说明,因为句子措辞才是表达的关键,这个统计做得还是片面点了。

    [0] 评论
  • 18楼
    2011-01-24 17:14 _莊_
    引用 火の狩人 的回应:表示为啥我的沙发评论不见了?!

    钢炼的孩子~hh~
    确实很多时候每个星座说的只是来来去去几个词语~娱乐娱乐~

    [0] 评论
  • 19楼
    2011-01-24 20:41 Uken

    当它是鼓励也是提防~

    [0] 评论
  • 20楼
    2011-01-24 21:18 stella
    引用 神秘人 的回应:我表示看星座只是给自己的有些行为和心理趋向找理由而已。


    同意这种说法。我们的心灵太脆弱~~

    [0] 评论
  • 21楼
    2011-01-25 00:47 Directive

    星座管用啊!追人时尤其管用。各种攻略

    [0] 评论
  • 22楼
    2011-01-25 02:03 角蝰

    hah “大众文化妄想症”

    [0] 评论
  • 23楼
    2011-01-25 10:18 渣霍维奇

    这篇文章说服力不强。漏洞太多太多了。当做娱乐看看吧。

    [0] 评论
  • 24楼
    2011-01-25 17:00 0.618 果壳网心事鉴定组编辑,科学松鼠会成员

    强烈建议加上心事鉴定组 5237 和 4935 两篇相关文章!

    [0] 评论
  • 25楼
    2011-01-25 17:36 问号男

    好专业!!!

    [0] 评论
  • 26楼
    2011-01-26 08:07 四风

    所有预言测试什么的都是一个套路~

    [0] 评论
  • 27楼
    2011-01-26 10:48 喷菇头

    确实~~~~~~~~~

    [0] 评论
  • 28楼
    2011-01-26 22:26 badbunny

    本来就是,仔细看每个星座下的评语会发现,都和自己有点像,这玩意儿就是娱乐用的

    [0] 评论
  • 29楼
    2011-01-27 06:37 曾子曰
    引用 Renne 的回应:小会占星,就我的经验,除去那些模棱两可、大体相同的叙述,星盘还是可以拿出一些真料的,有想深入探索的童鞋我可以给你看个盘。抓词不能完全说明,因为句子措辞才是表达的关键,这个统计做得还是片面点了。


    个人觉得星盘不可信。简单来说,在星盘描述的过程中,引入了太多变量,因此增加了太多的不确定性。这就好像你试图用一个公式去fit一条曲线。当你在这个公式中只引入一个变量,fit的结果是可信的。但当你引入两个、三个甚至更多的变量,人们会argue,如果我去试另一种变量组合,会不会也得到同样的结果。

    [0] 评论
  • 30楼
    2011-01-28 10:34 Wasabi

    为虾米 点 这里 点不出呢。。

    [0] 评论

显示所有评论

你的评论

登录 发表评论

Yan
Yan 电气工程硕士生

作者的其他文章

更多科研事,扫码早知道

关于我们 加入果壳 媒体报道 帮助中心 果壳活动 家长监控 免责声明 联系我们 移动版 移动应用

©果壳网    京ICP证100430号    京网文[2015] 0609-239号    新出发京零字东150005号     京公网安备11010502007133号

违法和不良信息举报邮箱:jubao@guokr.com    举报电话:18612934101    网上有害信息举报专区    儿童色情信息举报专区