《魔鬼数学》第二部分 推理 读书笔记 – Zero
从wordpress复制过来，无法现实标红文字，需要请参考以上链接吧，免得我重新重新花时间修改。
《魔鬼数学》第二部分 推理
第6章 圣经密码与股市预测//069 【使用不完整的真实信息，让人信以为真】
第7章 大西洋鲑鱼不会读心术//083【统计学检验方法，零假设，显著性； 证实和证伪】
第8章 美丽又神秘的随机性//109 【归谬法和归为“可能性极低”法】
第9章 肠卜术与科学研究//121【显著性检验的合理使用，文件柜问题，科研中的小概率事件】
第10章 大数据与精准预测//139 【贝叶斯推理】
我觉得“推理”这一部分是本书的核心，至少对我受益最大。
如果我们只能看到局部（发生的小概率事件，证实的证明过程），就很容易相信这就是真相，即“一叶障目不见泰山”，这也是第六章的观点，不完整的真实信息会误导我们的判断。所以别人给我们呈现的推理如果建立在不完整的真实信息上，而我们看不出信息的“不完整性”，就很容易被欺骗，尤其是在大数据时代的今天，要想拼凑出一个看起来符合逻辑的推理是易如反掌。如果某人让一万只猴子随便乱涂乱画，恰好其中一只猴子写出了完整的一句话，他就打算宣传这一只“神猴”，却不告诉我们这只是一个小概率事件。【只要我们尝试足够多次，总会遇到这些发生概率极小的事件。】
避免把发生的小概率事件看成必然的方法，就是强调零假设和基于零假设的显著性检验。避免在不稳定的推理基础上做出判断。 推翻零假设的过程就是一个“证伪”的过程，这要比“大海捞针的寻找证实性证据”更有科学性。
其次，统计学检验并不能帮助我们看清真相，摆脱小概率事件，证明应该基于零假设下的显著性检验，否则只为了证实想要的结论而寻找证据，变成了巴尔的摩股票经纪人的把戏。
这种“不完整但是真实的信息”，如果用数学公式来阐述，就是贝叶斯推理，我们忽视了条件概率，所以把基于某一条件下的概率视为零假设下的概率。
书中的几个例子：《托拉》圣经中隐藏的密码，巴尔的摩股票经纪人，斯金纳分析莎士比亚著作，篮球运动员是否有受热现象。
第6章 圣经密码与股市预测
关键词：幸存者偏误，小概率事件vs必然性，统计学检验，一叶障目不见泰山，
这一部分主要介绍了两个例子：一是通过数学方法发现圣经之中存在上帝的密码，从而让人更加相信圣经的价值；二是巴尔的摩的股票经纪人，通过小伎俩让人相信他拥有非常准确的选股能力。金融行业隐藏着很多类似的骗局，比如经过数年孵化才公开募资的共同基金宣称高收益率。
这里的关键错误是，推理过程只求证实一个结论，至于是尝试了成千上万个名字/组合/股票（测试对象或测试方法），才找到满足自己预期的数据，则是无关紧要。就像每天都购买一个彩票，一年中某一天突然中了大奖，这个人就变成了专家；或者成千上万名士兵去打仗，只有一位侥幸活着回来了，那么他就变成了战斗英雄。
这些例子都能欺骗很多人之所以高明，是因为提供的都是真实的信息，只不过不完整。我们都会遇到小概率事件，发生后我们就认为是必然的。但是如果我们能从全局和整体出发，就会发现小概率事件并不少见，所以切莫见了之后大惊小怪，更不要高估再次发生的事件甚至视之为必然！
这两个例子提醒我们，所以凡事都应该了解原理，避免被误导；对于概率问题，则要整体性思考，既要看到呈现在我们面前的事件，又要看到没有呈现出来的其他事件。
巴尔的摩股票经纪人的这套把戏之所以能够奏效，是因为它并不是彻头彻尾地骗你，其原理与精彩的魔术非常相似。****也就是说，它告诉你的不是虚假信息，而是真实信息，但是这些真实信息会让你形成错误的结论。****连续10次选择的股票都涨了，或者魔术师连续猜中6场赛马的结果，或者共同基金以10%的回报率笑傲股市，这些情况的确不大可能发生。但是，我们之所以会得出错误的结论，就是因为这种“不大可能”真的会发生，并且令我们感到惊讶不已。宇宙之大，无奇不有。只要我们尝试足够多次，总会遇到这些发生概率极小的事件。
亚里士多德：“不可能发生的事情也会发生。在接受了这个观点之后，我们就有理由认为不可能发生的事情仍然有可能发生”。
英国统计学家费舍尔（F.A.Fisher）有一个著名的论断：“概率为‘百万分之一’的事件如果发生在我们身上，我们可能会感到非常吃惊。但是，无论我们有多么吃惊，这件事都肯定会发生，而且发生的概率不会超过其应有的范围。”
备注：想起了另外一本介绍数学概率的文章，其中提及美国911事件直接导致了上千人的死亡，但是911事件之后，很多美国人选择乘坐汽车而非飞机出行，导致了比往年更多的死亡人数。这也是“放大小概率事件”的非理性行动。
第七章 大西洋鲑鱼不会读心术
本章主要内容：基于零假设的显著性检验，可以避免忽视零假设而变成“巴尔的摩股票经纪人的把戏”。
海量数据下，我们更容易犯错误。我们在不知不觉中，变成了巴尔的摩股票经纪人的玩法，因为我们没有考虑到小概率事件的普遍存在，而将之视为真理。
>没有考虑小概率事件的普遍存在，科研人员很有可能把自己的研究结论变成巴尔的摩股票经纪人玩的那套把戏，不仅使他们的同事受到蒙蔽，自己也会误入歧途。
为何我们容易犯这种“以偏概全”的错误，答案是我们都难以进行逆向思考（看不懂全局的前提下）。
要想避免类似的错误，从复杂的世界中发现真相，核心的方法就是“零假设”和推翻零假设的显著性检验（significance testing）。零假设也就是“不可能性”（improbability），指的是假设所研究的介入活动不起任何作用。
推翻零假设的显著性检验，是一种反证法，先假设零假设成立，然后推导出事件发生的概率，概率非常小（和实际情况不符），从而说明零假设不成立。
****显著性检验的重要性：显著性检验帮助在变化的学科中建立了一套检验标准，比如心理学和经济学上的好坏本身并非绝对，显著性检验则帮助学者们定量的进行判断。
仅仅证明数据与理论相一致还不够，还要证明数据与反面理论不一致，也就是要排除讨厌的零假设。【类似于“证伪理论”】
给出推翻零假设的程序：
1.开始实验。
2. 假定零假设为真，设p为观察结果中出现极端情况的概率（零假设前提下）。
3. 数字p叫作p值。如果p值很小，我们就可以认为实验结果具有统计学显著性；如果p值很大，我们就得承认零假设还没有被推翻。
我们经常将p=0.05视为临界点，从而“有95%以上的概率可以确认我们的结论”。
显著性检验体现了我们对不确定性的直觉推理，因此人们普遍接受这个方法。
费舍尔的贡献是把显著性检验变成了一种形式主义的手段，借助这个系统性的方法可以客观地分析实验结果的显著性（或非显著性）。近100年来，显著性检验一直是评估科研结果的标准方法。有一本权威教材把这个方法称作“心理学研究的支柱”，我们在判断实验成功与否时也以此为标准。我们所看到的医学、心理学或经济调查的研究结果，很有可能都经过了显著性检验。
但是要小心“显著性”这个词容易引起误导性，“显著性检验”并非测试字面意义上的重要性，p值小于0.05的统计结果为“值得注意的统计结果”或者“可以检测到的统计结果”。
另外要注意“显著性检验”是一种工具，工具就存在适用范围和精确性。如果我们使用普通的双筒望远镜而非专业的天文望远镜，我们肯定看不到火星的卫星，但看不到不代表不存在。比如斯金纳的统计结果表明莎士比亚没有大量使用头韵修辞法，但毫无疑问这是错误的。再比如用统计学分析去检测篮球运动员是否存在“手热现象”，几种统计学检验方法都得到否定的答案，很有可能是统计的灵敏度不够，无法检出这种现象，因为最差球手的40%投篮命中率和最优秀球手的60%投篮命中率的统计学差异太小了（观众眼中的差异却足够大）。
高效的统计研究可能会把我们的目光引向其实并不重要的细微效果，而功效不足的统计研究却会导致我们忽略某个细微效果。
第八章 美丽又神秘的随机性
观点：强调反证法，显著性差异是一种模糊的反证法，因为前者是归为不可能，后者是归为“可能性极低”。
标准的反证法/归谬法是证明假设不成立，而显著性检验只是证明可能性极小（注意概率p）。所要要注意两者之间的差异。“不可能”不等于“可能性极低”。
反证法或归谬法。反证法是数学领域的柔道，为了证明某个命题不正确，先假设该命题为真，然后借力打力，通过一个“过肩摔”来完成证明。
准确地说，反证法是一种推理工具。【毕达哥拉斯证明2的平方根是无理数时，用的就是反证法。】
我们可以把零假设显著性检验视为一种模糊的反证法：
·假定零假设H为真；
·根据H，得到某个结果O的可能性非常小（比如，低于费舍尔设定的0.05这个临界值）;【在标准的反证法中，是“根据H，某个事实F完全不成立。】
·但O是可以观察到的事实；
·因此，H成立的可能性非常小。【在标准的反证法中，是“H 100%不成立”】
换句话说，这不是归谬法，而是“归为不可能法”。【归为“可能性极低”法】
但是，“不可能”与“可能性极小”是不同的概念，两者的意思相去甚远。不可能的事情绝不会发生，而可能性极小的事件并不少见。这就意味着我们在根据可能性极小的观察结果进行推理时，由于受到归为不可能法的影响，会采取一种不可靠的逻辑立场。
介绍数学中涉及到素数的几个猜想，虽然我看过《费马大定律》读书笔记，但是这一部分基本没有看懂。。。
第9章 肠卜术与科学研究
本章主要内容：科学研究中的小概率事件，容易被我们看成必然结果。比如一名科研人员尝试20次实验才成功一次，然后就报道这一组难得的数据；或者20位科研人员都做一个实验，只有一个人成功了，然后就报道这一组数据，失败的研究人员则扔掉了自己的数据。这些都是有意或无意将小概率事件看成必然的例子。再比如科研人员筛选了1000个基因，发现其中的20个有预期的功能，于是就报道了这些“聪明”的基因，这就犯了明显的统计功效不足的错误，因为筛选实验本身容许的5%显著性统计误差，导致了假阳性，所以这20个“聪明”基因只不过是统计方法下的随机性结果而已。
用下面的故事和漫画来说明这个“文件柜问题”，非常恰当。文件柜问题指的是因为不报道不成功的案例和实验结果，导致我们看到的实验结论都是类似于“巴尔的摩股票经济人问题“。
如果 20 组研究人员分别在 20 个实验室里针对绿色豆胶糖进行了共计 20 次测试，结果会怎么样呢？有 19 个实验室不会得出具有统计学显著性的测试结果，他们也不会据此发表论文。这是毫无疑问的，谁会把“吃绿色豆胶糖与得痤疮之间没有相关性”作为重大发现公开发表呢？第 20 个实验室里的研究人员比较幸运，得出了一个具有统计学显著性的测试结果，原因是他们的运气好，但他们并不知道自己的成功得益于运气。在他们看来，他们对“绿色豆胶糖会诱发痤疮”这个理论只进行了一次检验，而且检验结果是有统计学显著性的。
如果我们完全根据公开发表的论文来决定吃哪种颜色的豆胶糖，就会犯错误，而且它与美军在计算从德国返航的飞机身上有多少个弹孔时所犯的错误性质一样。亚伯拉罕。瓦尔德说过如果想了解真实情况，还需要考虑那些没有返航的飞机。
这就是所谓的“文件柜问题”：由于大众传播受到统计学显著性临界值的影响，导致某个科学领域对某个假设的证据形成了严重歪曲的观点。而我们已经为这个问题赋予了另外一个名字，即“巴尔的摩股票经纪人问题”。
第10章 大数据与精准预测【非常棒的一章】
关键词：条件概率、贝叶斯推理，先验信息（prior information），贝叶斯推理（Bayesian inference）
例子1: 对于“大数据时代，人的行为是否可以被准确预测？”，作者举了facebook从两亿用户中筛选十万恐怖分子的例子，但是筛选出的这些恐怖分子几乎都是遵纪守法的合格公民，为何如此，因为我们忽视了先验信息——恐怖分子极为罕见，或者说恐怖分子在总人群中的比例极低。
第二个例子是，无线电公司做了一项实验，让电台听众使用心灵感应获取五次转动轮盘产生的五个红或黑字母，但是因为心灵感应是不存在的，所以电台发来的字母排序应该是完全随机的吗？ 但是结果并非如此，有一个我们容易忽略的前提，即电台观众倾向忽略RRRRR或BBBBB。
例子3: 一个人有80件一模一样的T恤，他每天穿一件。大部分人都认为他是全学校最脏的人，但是只有他室友知道他是全学校最卫生的人。 区别就在于我们推理时的条件概率/前提：是否知道他有80件T恤。
例子4: 支持“上帝创造宇宙”的“神创论”者，的推理方式是“如果没有上帝，就不可能产生人类这样复杂的生物； 人类已经产生；所以上帝不可能不存在”，但是这个推理过程同样缺乏“条件概率”，所以结论就像第一个例子把Facebook筛选出的人视为恐怖分子，像第一章的圣经密码，结论都不准确。 本文用图标和贝叶斯推理分析了完整的概率。
条件概率（conditional probability)，在某一个条件/前提下的的概率，比如“如果Y，那么X的概率”。
先验概率：看到相关证据前的置信度。
后验概率（posterior probability）：看到相关证据后的置信度
贝叶斯推理（Bayesian inference）：连接先验概率和后验概率的工具
如果忽略条件概率，我们就很容易混淆“如果X，那么Y的概率”和“如果Y，那么X的概率”。
备注：最后这一章阐述的贝叶斯推理，其实也是《魔鬼数学》第一部分的主要观点，比如第一章强调的“不完整但是真实的信息会误导我们的判断”，用贝叶斯推理来讲，就是忽略了条件概率。
2018.1.27 整理最后两章。