2015-11-25

相关关系和因果关系

最近看了本大数据的书,叫《大数据时代:生活、工作与思维的大变革》。在地铁上零零碎碎看完。

看完之后收获不少,颠覆了以前的一些想法和概念。

在看这本书之前,我所理解的大数据是,现在这个社会是信息爆炸的社会。以前的说法是,在互联网里,没人会知道你是一条狗。但是这句话拿到今天来说,反着说是没有一点问题的,在互联网里,哪怕你是一条狗都能被查出来。因为现在互联网上的信息实在是太多了,自己留下的信息也会很多,除非完全不上网。就举个栗子来说,以前在京东上,有个女的对京东的商品做出了一番评价,结果被网友们掘地三尺,查出了人家是在央视工作等一系列相关信息。像这类查人信息的事情我也做过一些,主要方式是通过手头上仅有的资料,查出人家的微博啊,微信啊,QQ啊等等,然后根据微博、微信、QQ的用户名再进一步用搜索引擎查出更多的信息。这就是我当时自己理解的大数据。互联网的信息十分多,利用相关性,从“大数据”中我们可以查出一个人的很多信息。

不过读完这本书之后,就完全不是这个意思了。所谓大数据,是和数据分析有关的。像在以前做数据分析时,手里所掌握的数据是有限的。只能够以采样进行抽样分析处理。而在大数据时代呢,所掌握的数据就是全集,没有抽样这个概念了。基于这种关系之下,人们不再像以前那样,通过样本,来研究因果关系,从而能够进一步对整体做出预测。而大数据的概念下,只需要研究相关关系即可,通过对数据的分析,发现某些事情的发生,同时发生了另外一些事情,然后研究其相关关系,可以对整个全集进行分析,在这种情况下,因果关系就显得不那么重要了。不过我存疑的是,对于当前的数据,怎么也达不到全集,而只能是有限全集,通过这个有限全集,来预测未来。比如说知道去年全年的机票订单情况,来预测今年的机票订单趋势。

0 评论:

Post a Comment