存活者偏差

转载自：http://forum.eetchina.com/FORUM_POST_10008_1200113569_0.HTM?click_from=8800021743,9014954723,2009-04-01,EECOL,FORUM_ALERT

 

1941 年，第二次世界大战正打得如火如荼。有一天，美国哥伦比亚大学著名统计学 家沃德 教授 (Abraham Wald) 遇到了一个意外的访客， 那是英国皇家空军的作战指挥官。
  他说：

「 沃德 教授，每次飞行员出发去执行轰炸任务， 我们最怕听到的回报是： 『呼叫总部，我中弹了！』   请协助我们改善这个攸关飞行员生死的难题吧！」
 
     沃德接下这个紧急研究案，他受委托分析德国地面炮火击中联军轰炸机的资料，并且以统计专业，建议机体装甲应该如何加强，才能降低被炮火击落的机会。但依照当时的航空技术，机体装甲只能局部加强，否则机体过重，会导致起飞困难及操控迟钝。

沃德将联军轰炸机的弹着点资料，描绘成两张比较表， 沃德的研究发现，机翼是最容易被击中的部位，   而飞行员的座舱与机尾，则是最少被击中的部位。 沃德详尽的资料分析，令英国皇家空军十分满意。
     但在研究成果报告的会议上，却发生一场激辩。
     负责该项目的作战指挥官说：

「沃德 教授的研究清楚地显示，联军轰炸机的机翼，弹孔密密麻麻，最容易中弹。因此，我们应该加强机翼的装甲。」
  沃德客气但坚定地说：

「将军，我尊敬你在飞行上的专业，   但我有完全不同的看法，我建议加强飞行员座舱与机尾发动机部位的装甲，因为那儿最少发现弹孔。」

  在全场错愕怀疑的眼光中，沃德解释说：

「我所分析的样本中，只包含顺利返回基地的轰炸机。   从统计的观点来看，我认为被多次击中机翼的轰炸机， 似乎还是能够安全返航，而飞机很少发现弹着点的部位，并非真的不会中弹， 而是一旦中弹，根本就无法返航。」

指挥官反驳说：

「我很佩服沃德教授没有任何飞行经验，就敢做这么大胆的推论，就我个人而言，过去在执行任务时，也曾多次机翼中弹严重受创，要不是我飞行技术老到，运气也不错，早就机毁人亡了，所以，我依然强烈主张应该加强机翼的装甲。」       

这两种意见僵持不下，皇家空军部部长陷入苦思。他到底要相信这个作战经验丰富的飞将军， 还是要相信一个独排众议的统计学家？
    由于战况紧急，无法做更进一步的研究，部长决定接受沃德的建议，立刻加强驾驶舱与机尾发动机的防御装甲。不久之后，联军轰炸机被击落的比例，果然显著降低。为了确认这个决策的正确性，一段时间后，英国军方动用了敌后工作人员，搜集了部份坠毁在德国境内的联军飞机残骸，他们中弹的部位，果真如沃德所预料，主要集中在驾驶舱与发动机的位置。

看不见的弹痕最致命 。 乍看之下，作战指挥官加强机翼装甲的决定十分合理， 但他忽略了一个事实：弹着点的分布，是一种严重偏误的资料。   因为最关键的资料，其实是在被击落的飞机身上， 但这些飞机却无法被观察到，因此，布满了弹痕的机翼，反而是飞机最强韧的部位。

空军作战指挥官差点因为太重视「看得见」的弹痕，反而做出错误的决策。
  这个案例有两个特别值得警惕的地方。死掉或被俘的人无法发表意见。
    

  第一， 搜集更多资料，并不会改善决策品质。 由于弹痕资料的来源本身就有严重的偏误，努力搜集更多的资料，恐怕只会更加深原有的误解。
 

第二，召集更多作战经验丰富的飞行员来提供专业意见，也不能改善决策品质，因为这些飞行员，正是产生偏误资料过程中的一环。他们都是安全回航的飞行员，虽然可能有机翼中弹的经验，但都不是驾驶舱或发动机中弹的「烈士」。
   简单的说， 当他们愈认真凝视那些「看得到」的弹痕，他们离真相就愈远。
 
     信息界有所谓「 Garbage In, Garbage Out 」，
     前提（或假设）若是错误，再漂亮的统计算式或方法、再多的资料，也不能让后面的推论变得正确。 在管理实务与日常生活中，许多关键的资料， 也像上述轰炸机的个案一样，会因为「失败」而观察不到。
 
     台大 刘顺仁 教授在著作《决胜》一书中， 对「存活者偏差 (survivorship
 bias) 」举例说明，是我读过的书中最生动贴切又清楚的一个。如果有一位 70 岁的老人在电视上说，   他就是靠每天抽一包烟、嚼一包槟榔才能长寿， 请想起「死人没法上电视说话」这件事。
     同样的道理，不是那个地方长寿的老人家吃或喝某东西， 某东西就是养生圣品。
    

再看一个骗钱的例子（这已经进化到 E-mail 版）
     1月 2日 你接到一封匿名信， 向你表示，这个月市场会上涨，结果市场果然上涨，但你不以为意，因为大家都知道有元月效应这回事 （历年来一月间股价涨多跌少）。
    到了 2月 1日 ，你又接到另一封信，向你表示，市场将下跌。这一次，又给那封信说中了。
     3月 1日 再接到一封信，情形一样。

7 月，你对那位匿名人士的先见之明很感兴趣，对方邀你投资某个海外基金。   于是你把全部的储蓄拿出来投资 , 两个月以后，那些钱有如肉包子打狗，一去不回。
      你伏在邻居的肩膀上嚎啕大哭，他告诉你，他也接过两封这种神秘信，但寄到第二封就停了。
     他说，第一封信的预测正确，但第二封不正确。
     这是怎么一回事？
     那些骗子玩的把戏是，他们从电话簿找出一万个人名，寄出后市看涨的信给其中一半的人， 后市看跌的信给另一半的人。
      一个月后，将有五千人接到的信预测正确， 然后再针对这五千人如法炮制。   再一个月后，剩下二千五百人接到的信预测正确， 如此直到名单上剩下五百人，其中会有两百人受骗上当， 因此骗子只要花几千美元的邮资，便可赚进数百万美元。 把手法作些改变。
     某骗子假装投顾老师招收会员，跟你说你可以先加入一般会员，等你觉得准了再加入 VIP 会员。这改变更巧妙的地方在于，骗子一开始就能赚到钱，此外 VIP 会员还会帮骗子建立口碑，证明骗子有多准：存活者偏差 (survivorship bias) 。
       只要信息不流通， 其它人不知道这假的投顾老师有多么（不）准。