解析：大数据的滥用及弱点

大数据这个话题在网上传的很神，尤其是我国这个每个人什么都懂一点但又懂得不精的土地上，有种安利好产品准备取代传统营销的感觉。

对码农来说如获至宝，世界上的数据太多，本来被认为是煤干渣的东西现在好像也可以当钻石了，煤窑工人挥舞锄头高喊：万岁data mining!不过我认为这也没错，随着技术的进步，苞米也能替代汽油，煤干渣也可以做成首饰。大数据对工程学是很好的，但是矿工拿煤干渣当钻石推销到社会科学，说这玩意可以代替统计学和抽样技术，我就不乐意了。物理学家对大数据也颇有微词，不过我不懂物理就不说了。
 

国外对大数据在其他领域滥用已经有了很多批评，我总结一下主要：

1，无意义的显著性：没有理论的大数据是皮毛，只看到显著相关性，但不经检验，没有理论，这样的相关是没有意义的，或许是虚假。关键是：大数据的data point太多，在计算上找到两个矢量的显著关系极其容易，但正是因为数据量大，控制虚假关系反而更难，这是一个两难。我有一篇文章投出去，匿名评审说：样本很大，当然能找到显著相关，但是看不出意义。

2，采样方法问题：统计学家方凯撒总结了一个现象，谷歌、facebook等网络收集的数据，往往不具有同质性，是在不同的时间用不同的资源收集，随后把整个数据合并起来，结果大数据内部许多部分的数据根本不是用同样的方法收集的，统计抽样的基本假设都被推翻了。而且网络数据和线下数据的内容不一致，比如华尔街邮报的电子版和纸版就不一样，而且用户可以自定义内容。

3，机器语言不稳定：谷歌最开始用关键字预测感冒流行地区，开始说比疾控中心预测的还准，但后来越来越不准。有人认为这是谷歌的搜索算法在不停地改进，所以自动收集数据不稳定了。另外机器语言一旦被误导会越错越离谱，比如谷歌翻译是根据真实的文章总结的，但是有些网络的“真实”翻译其实是谷歌翻的，于是谷歌会把自己的翻译基于这些 “真实”文章上。

以上归根结底是人和机器的矛盾：数据必须让人用理论来指导、收集，否则会出现谬误。这些都是可以避免或改进的，但这些原因足以让大数据在短期之内难以在社会科学领域立足。除此之外，我自己有一个想法，基于一个假设，认为大数据是不可能在人类行为领域立足的，研究文本或死物的历史学、语言学或许可以，但是社会学、犯罪学、人类学这三个恐怕很难。

学抽样的都明白，只要确定了图1中想要的准确度 Z(a/2)^2，方差S，回答率r，基本就可以求出从一个人群中应该抽多少个样本才能有代表性，而人群总量N的影响最后就不大了。在95%置信区间的情况下，一个小镇4000人，一个城市十万人，从小镇抽360人可以达到代表性，从那个城市抽390人照样可以有代表性，不可能因为后者多了几百倍就要多抽几百倍的人。所以大数据首先就没有必要了，在满足准确性的时候，小样本和大数据的效果没有区别;而不满足准确性的时候，大数据的误差只会更大。

 

 

这只是最基本的情况，实际抽样中往往需要分层，二龙湖有十块苞米地，有些面积大有些小，有些里面有非法性交易，要找那块苞米地里有性交易，就得把十块苞米地分成两类：离人烟近的，离人烟远的，赋予后者的抽样概率要大。这是所谓分层抽样，现实中，几乎所有大规模抽样都是分层抽样的变种。

分层抽样的情况下，后期统计运算都必须一个权重w，如图2，每层人数M和n都暂时不重要，权重是和phi成反比的：phi是该层被选择的概率。一个分层的权重高，在分析中就不可忽视。大数据的问题是它只能收集到权重低的数据：

 

 

我们知道帕累托分布，应用很广，从小姐接客分布到富豪财产分布都可以用帕累托分布表示。另一种类似power distribution的Zipf曲线，P(r)=1/(r*Ln(R))，用来表示重要性和出现频率：语言学中，一个词日常使用频率与它的排名成反比，chinkafir这个词排第10000，它的出现概率就大概是1/10000。由于这个分布的广泛性，我有一个基于权重的假设：因为抽样概率越低的分层，的权重越高;所以越难被抽样的人群，的统计重要性越高。现实中，最容易研究的对象往往最无聊，心理学经常上课找大学生做实验，所以现在以大学生为样本的文章很难发表了;而谁要在二龙湖跟浩哥混几天，做出来的研究就算不很严密也依然重要。

这点才是我说大数据的第二个重要弱点，数据越大越不重要。一个人收集了一堆权重接近0的中产阶级对暴力犯罪的态度，而另一人在Cicero和Latin Kings混了两个月，你觉得谁的结论重要?不是说前者没有意义，普通人群在分析时是必要的，但大数据基本只能接触到一些数据，没有抽样技术的话永远不具有代表性。就跟安利一样，产品或许不错，但是推销方式往往太傻逼，想取代传统还需努力。

来源：网络大数据

摘自：http://www.shcpda.com/xingyezixun/782.html