网页去重-比较文本的相似度-Near duplication detection

near duplicate detection 的任务是检测重复的内容，这项工作在搜索引擎，版权保护，信息展示等方面都有很好的应用。在搜索引擎上，主要是去掉重复的页面，图片，文件，文档等等。下面就指讨论网页的deduplication。

问题是什么？

据统计，网页上的大部分相同的页面占29%，而主体内容完全相同的占22%，这些重复网页有的是没有一点改动的拷贝，有的在内容上稍作修改，比如同一文章的不同版本，一个新一点，一个老一点，有的则仅仅是网页的格式不同（如 HTML, Postscript）,文献[Models and Algorithms for Duplicate Document Detection 1999年]将内容重复归结为以下四个类型:

1.如果2篇文档内容和格式上毫无差别，则这种重复叫做full-layout duplicate。

2.如果2篇文档内容相同，但是格式不同，则叫做full-content duplicates

3.如果2篇文档有部分重要的内容相同，并且格式相同，则称为partial-layout duplicates

4.如果2篇文档有部分重要的内容相同，但是格式不同，则称为partial-content duplicates

网页去重的任务就是去掉网页中主题内容重复的部分。它和网页净化（noise reduction），反作弊（antispam) 是搜索引擎的3大门神

去重在我看来起码有四好处：减少存储；增强检索效率；增强用户的体验；死链的另一种解决方案。

目前从百度的搜索结果来看，去重工作做的不是很完善，一方面可能是技术难度（precision和recall都超过90%还是很难的）；另一方面可能是重复的界定，比如转载算不算重复？所以另一项附属的工作是对个人可写的页面(PWP)进行特殊的处理,那么随之而来的工作就是识别PWP页面。^_^这里就不扯远呢。

问题如何解决？

网页的deduplication，我们的算法应该是从最简单的开始，最朴素的算法当然是

       对文档进行两两比较，如果A和B比较，如果相似就去掉其中一个

然而这个朴素的算法，存在几个没有解决的问题：

     0.要解决问题是什么？full-layout？full-content？partial-layout还是partial-content？

     1. 怎么度量A 和 B的相似程度

     2. 去掉A还是去掉B，如果A ～B（～表相似,!~表示不相似），B～C 但是 A!~C，去掉B的话，C就去不掉。

另一个更深入的问题是，算法的复杂度是多少?假设文档数为n，文档平均长度为m，如果相似度计算复杂度为m的某一个复杂度函数：T=T（m），文档两两比较的复杂度是O（n^2)，合起来是O（n^2 * T(m)) . 这个复杂度是相当高的，想搜索引擎这样处理海量数据的系统，这样的复杂度是完全不能接受的，所有，另外三个问题是：

      3. 如何降低相似度计算的复杂化度

      4. 如何减少文档比较的复杂度

      5. 超大数据集该如何处理

第0个问题是，我们要解决的关键，不同的问题有不同的解决方法，从网页的角度来看，结构的重复并不能代表是重复，比如产品展示页面，不同的产品展示页面就有相同的文档结构。内容来看，复制网站会拷贝其他网站的主要内容，然后加些广告或做些修改。所以，解决的问题是，partial-content deduplication，那么首先要抽取网页的主体内容。算法变成：

     抽取文档主体内容，两两比较内容的相似性，如果A和B相似，去掉其中一个

其次，问题2依赖于问题1的相似度度量，如果度量函数具有传递性，那么问题2就不存在了，如果没有传递性，我们的方法是什么呢？哦，那就找一个关系，把相似关系传递开嘛，简单，聚类嘛，我们的框架可以改成：

    抽取文档主体内容，两两比较内容的相似性，如果A和B相似，把他们聚类在一起，最后一个类里保留一个page

最后，归纳为几个步骤

第一步：识别页面的主题内容，网页净化的一部分，以后讨论

第二步：计算相似度

第三步：聚类算法，计算出文档那些文档是相似的，归类。

核心的问题是，“如何计算相似度？”这里很容易想到的是

   1. 计算内容的编辑距离edit distance（方法很有名，但是复杂度太高）

   2. 把内容分成一个个的token，然后用集合的jaccard度量（好主意，但是页面内容太多，能不能减少啊？）

好吧，但是，当然可以减少集合的个数呢，采样，抽取满足性质的token就可以啦，如满足 mod m =0 的token，比如有实词？比如stopwords。真是绝妙的注意.在把所有的idea放一起前，突然灵光一现，啊哈，

   3. 计算内容的信息指纹，参考google研究员吴军的数学之美系列http://www.googlechinablog.com/2006/08/blog-post.html

把他们放在一起：

第一步：识别页面的主题内容，网页净化的一部分，以后讨论

第二步：提取页面的特征。将文章切分为重合和或不重合的几个结合，hash out

第三步：用相似度度量来计算集合的相似性，包括用信息指纹，Jaccard集合相似度量，random projection等。

第四步：聚类算法，计算出文档那些文档是相似的，归类。

方法分类：

按照利用的信息，现有方法可以分为以下三类

1．只是利用内容计算相似

2．结合内容和链接关系计算相似

3．结合内容，链接关系以及url文字进行相似计算

一般为内容重复的去重，实际上有些网页是

按照特征提取的粒度现有方法可以分为以下三类

1.按照单词这个级别的粒度进行特征提取.

2.按照SHINGLE这个级别的粒度进行特征提取.SHNGLE是若干个连续出现的单词,级别处于文档和单词之间,比文档粒度小,比单词粒度大.

3.按照整个文档这个级别的粒度进行特征提取

算法-具体见真知

1. I-Match

2. Shingling

3. Locality Sensitive Hashing.(SimHash)

4. SpotSigs

5. Combined