David Sun原创，转载请注明出处。
古有诸葛先生夜观天象，可以知未来，有一叶知秋，见微知著的贤人。
国外有费米先生从纸片的飞落速度估算原子弹的爆炸能量。
今天我们有大数据的大师专家，从看似无奇枯燥的数据中，找到蛛丝马迹，预测趋势，判断分析根源和差异，决策商业未来。
小白一定很好奇，诸葛先生如何从天象猜测出未来若干几天的气候和风向，这个迷我们也先保密。
今天我们先从量化分析的角度，举一些案例，配上一些工具和算法，讲讲这个大千世界的数据和统计入门：
案例1： 小白在工厂管理5条生产线，某一天发现生产线1和5的故障率好像有点高，但是也不能有充分的依据证明，小白（产线质量主管）这时候来请教诸葛先生（统计学顾问）了。
小白：我不能瞎猜对吧，厂长会说我无凭无据，工人会说我找茬。
诸葛：对哦
小白：我们每天产线有30000个产品生产组装好，我每个都检查下，不得累死我。。。工人们会笑话死我。。。
诸葛：来来，我来给你把把脉，按照我的SOP走一遍先：
①你看看这些产品是否是同一批次，产品是否都规格一致
②找出关键的质量评判标准，例如产品的重量是否都严格控制在50±3g之间
③确定参数的分布类型，假设重量属于正态分布，那么选择抽样标准-随机抽样，水平抽样等；
④选择随机抽样方法，从5条生产线上分别抽选30个样品，各自代表了五条线五万个总体的一部分。
⑤采用t检验方法，检验150个样品各组之间组间的平均值是否有统计学显著性差异。
一共5组，每组之间都是相对独立的样本，随机抽样，没有配对。我们先找对比D，即2-5组间对比做案例。
两两对比
⑥建立假设：2组和5组的产线上，生产出来的产品平均来看都是一样的，差不多的。
即H0:μ2=μ5，H1:μ2≠μ5，α=0.05
⑦拿起我的钉耙，哦不，方天画戟，哦不，SPSS神器，或者Excel小刀一试。
⑧
⑨输入数据，用t检验算出sig（双侧），即显著性，看到方差相等，0.32大于0.05，方差不相等时候，也大于0.05。
⑩根据我们上面提到的α限值，我们得出统计学结论，即2组和5组生产的产品平均值相等，在统计学上有意义。我们认为2和5两天产线上的产品重量没有显著性的差异，基本上认为是一样的。小白：诸葛先生，我糊涂了，为什么有2个值呢，方差相等不相等怎么检查呢？
诸葛：两个样本方差相等与否，可以通过F检验来判定是否方差相等，我们从上面表格看到F值是6.617，SIG是0.013，可以认为两组之间方差不相等，有显著差异。SPSS里面的Levene检验是方差分析中检验方差相等与否的方法之一。
小白：这么多组和组之间，一个一个对比，好累人哦
诸葛：要不怎么说SPSS是神器呢，看下图
把这些组的数据全部加入检验变量
然后可以得出一系列组和组之间的t和F检验结果，下图仅为示例，和上图数据无关联性。
小白：好像懂一些了。但是如果我检查的重量到底是不是正态分布呢？
诸葛：神器就是神器
方法1：
看Q-Q图（不是腾讯的QQ）
如果数据点大部分都在直线上，可以近似认为是正态分布。
方法2：用两位苏联数学家Kolmogorov和Smirnov的名字命名的K-S检验
上面的显著性0.200，大于0.05，即认为和正态分布无显著性差异，属于正态分布。
方法3。。。
小白：先生住口，我先懂一些就好。但是如果我要看的不是产品重量，而是产品在市场上客户的评价呢？比如我在市场上找了100个用户，给产品的功能和性能打分，或者使用3个月以后的前后对比，这些数据的分布不一定是正态分布吧，那怎么分析呢？
诸葛：这时候就要用上非参数检验了，就是在总体方差未知或知道甚少的情况下，利用样本数据对总体分布形态等进行推断。
小白：比如我的产品是治疗高血压的药物，做临床实验，在上海北京几个城市，随机找了200个高血压的患者，分成2组，每组100人，分别用市场上已有的药物A和我们的产品药物B，跟踪记录患者使用药物前的血压，1个月以后，2个月以后和3个月以后的数据，然后能否对比出来，两种药物的效果差异呢？
诸葛：首先，我们不知道这些药物使用后的效果，血压和血压下降值是什么分布类型，所以要从非参数检验来分析。
其次，这200个样本，并没有配对研究，是随机的样本，所以是独立样本。把所有的数据输入到SPSS之后，就可以进行组件分布分析。
如果是2个样本组，那么用曼惠特尼检验，如果是3种或更多种药物，分成n组进行对比，那就要用Kruskal-Wallis检验。
如果要进一步分析，1-2-3月是否有血压递减的趋势，可以使用Jonckheere-Terpstra检验，看J-T值和显著性差异。
小白：好像有点晕了。。好像很有趣的样子。但是那么多数据，从哪来啊。
诸葛：数据统计博大精深，应用面极广，不局限于经济学，管理，金融股票投资期货分析，医药研究，生物检测，产品质量管控，气象学预测，地质学预测，社会调查和研究，人口和政策研究等等等等。大数据目前很热门啊，下次给你讲讲如何用python爬虫去互联网上找到一些神奇的数据吧。
小白：先生，我先去洗把脸。。