英国牧师与反垃圾邮件

 以下是这周的小贴士。如果你想分清良莠──无论是从垃圾邮件中挑出 有用的邮件，从垃圾股中挑出热门股，还是从滥片中选出上乘的电影 ，你都需要一位18世纪牧师的帮忙。

在这里说说反垃圾邮件咨询公司Unspam Technologies Inc.的首席执行长马修•普林斯(Matthew Prince)的经历吧。从1996年开始参加一年一度的圣丹斯电 影节(Sundance Film Festival)以来，他就同参加大型电影节的所有人面临一个同 样的困惑：200来部展出的电影有哪些是值得一看的呢 ？因此他和一些朋友开始寻找从中筛选出最佳电影的途径。一天 ，在和本公司的一个软件工程师交谈时，他俩认识到挑选出最佳电影同 判断哪些电子邮件是垃圾邮件在本质上都是一样的。

这可能会令你感到不解。让我用点笔墨解释一下为什么大多数垃圾邮件 都没有进入到你的收件箱中（尽管你还是会收到许多垃圾邮件） 。这都应归功于18世纪的英国牧师托马斯•贝叶斯(Thomas Bayes)，他创立了根据过去的事件计算未来事件发生概率的理论 。他的理论成为当前大多数互联网服务提供商(ISP )和电子邮件服务提供商使用的垃圾邮件过滤器的基础。简而言之 ，如果你收到的一封垃圾邮件中包含“Viagra”这个词 ，那么你今后收到的也包含这个词的邮件就很可能是垃圾邮件 。一个贝叶斯过滤器将检查邮件中的所有词，包括隐含格式 、标题和其他垃圾邮件的蛛丝马迹，并判断此封电子邮件是垃圾邮件的 可能性。你要做的事情就是用大量垃圾邮件信息训练过滤器，告诉它 “这个是垃圾邮件，这个不是”等等，它就会很快过滤出垃圾邮件。

普林斯的想法是将同样的过滤技术应用到电影评论中 。他考虑是否能将过去几届圣丹斯电影节中的电影评论加入到贝叶斯过 滤器中，看看能否挑选出可能的得奖者？圣丹斯电影节每年都发布筛选 电影的指导意见。普林斯和部分同事搜集了10年中对360多部圣丹 斯电影节参展影片的指导意见。根据在电影节上及随后公映中的成功情 况，每部电影都会得到三个分类中的一个：低于平均水平 、平均水平和高于平均水平。他们的研究结果最先发布在网站上( http://deconstructingsundance.com)。

普林斯和他的同事发现，词汇是非常好的评论成功的指标 。但不见得是你想象中的那些词藻：最好的、迷人的、深情的 、有灵感的、伟大的，等等。在Deconstructing Sundance网站看来，所有这些词都预示著电影的失败。比如 ，“令人目不转睛”这个词在低于平均水平的影片中的出现比率是46 %，而在高于平均水平的影片中的出现概率是22%。怎么会这样 ？为什么评论家认为“目不转睛”意味著失败呢？普林斯有他自己的理 论：也许作者在难以找到描述某部影片的褒奖之词时 ，就会使用目不转睛等形容词，而不是用更切合实际的方式描述这部影 片。

很有道理。但为什么就此打住呢？如果这位18世纪的牧师能帮助你解 决电影鉴赏的问题，为何不将这种技术用于预测其他事情 ，如股市的波动、血栓或火山爆发呢？实际上，已经有人考虑到了这点 。美国的购物搜索引擎Shopzilla.com使用贝叶斯过滤器根 据主题和相关的回复筛选客户的电子邮件。

但这一切能为你做些什么呢？如果你的ISP或办公室网络没有过滤出 你收到的垃圾邮件，你可以设置你自己的贝叶斯过滤器 。我建议使用POPFile ( http://popfile.sourceforge.net)，这是约翰•格雷厄姆-卡明(John Graham-Cumming)开发的被称作PolyMail的一 种适用于所有平台的免费版本。（正是他和POPFile帮助我们完 成了Deconstructing Sundance的全部工作。）这个软件也很容易设置。

我使用POPFile已经有几年了，它能将垃圾邮件拒之门外 。最近，我决定让它更努力地工作。同普林斯和他的同事一样 ，我觉得既然这款软件对垃圾邮件这么有效，为什么不让它帮我筛选所 有电子邮件呢？你知道，电子邮件的主要问题并不仅仅在于过滤垃圾邮 件。它还应筛选收到的所有邮件，使这些邮件不都挤在不堪重负的收件 箱中。

我的意见是设立两个收件箱，比如一个私人的，一个工作信箱 ，贝叶斯过滤器会迅速判断出你的电子邮件进入哪个收件箱 。你不必为在主题栏用“放高利贷者”等词语为每个发送者或每封电子 邮件拟定规则，只需用几封样本邮件告诉过滤器它们应进入哪个收件箱 ，然后就不用管了。我现在设立了三个信箱：1)我需要现在处理的 ，2)我可以保存下来以后处理的，3)我根本不需要的信件 。迄今为止，这一切工作的非常好。

当然，坦率地说，我们不清楚贝叶斯系统的工作原理。但它的确有效 。预计这位牧师的理论将从垃圾邮件控制扩展到互联网的其他领域。

对了，Deconstructing Sundance项目在缩小今年圣丹斯电影节潜在获奖片的工作中表 现良好，本届电影节已于几周前结束了。比如，这个项目就捕捉到了最 终赢得大奖的两部影片：Quinceanera （故事片奖）和God Grew Tired of Us （纪录片奖）。