《Head First 统计学》读书笔记

本文目的

最近花了2周时间看完了《Head First 统计学》（又名《深入浅出统计学》）。看完后，感觉统计学的知识又捡起来了。在高中和大学的时候，学习统计学的目的很狭隘——为了应付考试。这次看《Head First 统计学》的动机却截然不同，由于前一阵子看了《集体智慧编程》和《数据挖掘导论》，发现里面很多地方应用了统计学，原来统计学的作用如此强大，所以决定重温统计学，并希望在将来的工作中可以派上用场。《Head First 统计学》中的内容比较生动有趣，读完后对“贝叶斯定理”，“卡方分布”，“抽样统计”，“线性回归”，“皮尔森系数”，“抽样的方差为什么除以n-1”，都有了新的认识，这些内容在前面的提到的两本书中均有涉及。本文记录《Head First 统计学》使我映像深刻的内容，作为备忘。

 

章节联系

个人认为本书可以分为三大部分：

• 概率统计基础
  • 第一章 信息图形化
  • 第二章 集中确实的度量：中庸之道
  • 第三章 分散性与变异性的量度：强大的距
  • 第四章 概率计算：把握机会
  • 第五章 离散概率分布的运用：善用期望
  • 第六章 排列与组合
• 常见概率分布
  • 第七章 几何分布、二项分布及泊松分布：坚持离散
  • 第八章 正太分布的运用：保持正太
  • 第九章 在谈正太分布的运用：超越正太
• 概率统计应用
  • 第十章 统计抽样的运用：抽取样本
  • 第十一章 总体和样本的估计：进行预测
  • 第十二章 置信区间的构建：自信地猜测
  • 第十三章 假设检验的运用：研究证据
  • 第十四章 卡方分布：继续探讨 ……
  • 第十五章 相关与回归：我的线条如何？

 

前六章

前六章的内容比较基础，主要讲了直方图，条形图，折线图，均值，中位数，众数，四分位数，k分位数，方差，标准差，韦恩图（高中称之为“文氏图”），互斥事件，相关事件，独立事件，条件概率，贝叶斯定理（这个与“独立事件概率”在文本自动分类中被广泛运用），概率分布，期望，排列与组合。这些概念高中课本全都涉及，如果高中数学这部分基础扎实，那么看起来会比较轻松。值得强调的是每章内容都会设计一个场景来将所有知识点穿起来，这样比较生动，记忆深刻。比如“小孩游泳班的平均年龄异常”引出“众数”这个概念。用“轮盘赌每格的颜色和奇偶性”引出“相关事件”和“相关事件的概率”。还有很多例子，这里不一一举例了。

 

七、八、九章

这几章主要讲解了一些常见的离散的概率分布：

• 几何分布：事件概率相同且独立事件第一次发生的概率
• 二项分布：事件概率相同且独立的事件在n次中发生指定次数的概率
• 珀松分布：单独事件在给定区间的次数，求出发生特定次数的概率

特备值得指数的是二项分布在n很大时，计算量很大，如果此时概率p很小（p<0.1），那么可以用珀松分布近似计算二项分布。除了介绍离散的概率分布外，还介绍了应用最为广泛的连续概率分布——正太分布（又称“高斯分布”）。因为自然界中很多现象都可以用正太分布建模，比如人类的身高，体重等。如果能够用正太分布建模，那么可以很方便的计算出概率（通过标准化后查表获得）。正太分布还有一个特性：当n很大，并且p符合一定条件时，可以用正太分布近似计算“二项分布”（np>5且nq>5）和“珀松分布”(λ>15时)，但是需要进行连续性修正。

 

后面六章

接下来的章节主要介绍了概率统计在实际中的运用：

• 抽样：如果需要研究的整体比较大，基本上无法对所有单位进行度量，因为这样费时费力，那么就需要通过抽取相对较小的一部分来研究总体，这个过程叫抽样。抽取过程中需要使用一些技巧使得样本无偏，也就是使得样本最大限度的代表整体，有样本的特性估计整体特性（如期望和方差）。其实抽样的过程也是符合概率的。样本无偏的概率是可以记过正太分布计算出来的，而且最重要的是，样本越大，无偏的几率也就越大。同时，了解到抽样方差除以n-1是为了是猜测的方差结果更接近总体方差。
• 置信区间：仍然是通过样本估计总体，但是不是给出精确的数字，而是给出对总体特性估计的范围和处于此范围的概率。
• 假设检验：采用样本数据，判断总体的断言是否可信。主要的思想是先假设成立，然后在样本中努力找到证据推翻假设。
• 卡方分布：卡方分布是另外一种连续的正太分布，可以用于优度拟合（检验分布与样本期望的相关性）和独立性检验。
• 相关与回归：此章讲解了最小二乘线性回归的运用，同时引出了相关系数（又称“皮尔森系数”）的使用场景（此系数在度量向量关系方面使用广泛）。

 

结语

OK，流水账式的讲解完了《Head First 统计学》的所有内容。读完本书的的整体感受是：对统计学相关内容有了信心，以后遇到相关内容也不会那么畏惧了，大不了google一下。