自己动手实现谷歌网页指纹计算方法

 需求

由于最近网页库越来越大，搜索到的结果经常遇到重复，并且结合新闻搜索的需求，需要计算出哪些新闻是被转载的。因此最近开始寻求一个比较好的网页指纹计算方案。经过一番调查，发现谷歌的网页指纹计算方法simhash方法比较实用。于是在搞清楚理论的基础上，动手实现一下这个算法。

理论基础

 

实现分析

 

 

 hadoop集群性能

 我在60台hadoop集群上对5T数据进行分词计算指纹，需要2分钟时间。分词我是用的IK分词。当然，接下来要实际应用中要选择带有词性的分词，这个有利于特征选取，毕竟这个时间要求不是特别严格，指纹计算属于线下计算过程。

提交测试组测试结果

测试结果如下：

1 测试目的
1、	能计算指纹
2、	相同正文计算出来的指纹应该相同
3、	相似正文计算出来的指纹应该相似
2 名词解释
3 测试约束
4 测试时间
5 测试环境
Server：10.10.224.19，路径/application/search/simhash
6 测试结果
6.1 不相关的内容
Content1 = 新华社上海12月11日电(记者厉正宏　吴晶)在钱学森同志诞辰100周年之际,钱学森图书馆11日在上海交通大学建成开馆。中共中央总书记、国家主席、中央军委主席胡锦涛对钱学森图书馆建成开馆作出重要指示。　　胡锦涛总书记指出,钱学森同志是享誉海内外的杰出科学家、我国航天事业的奠基人、爱国知识分子的优秀典范,在国家经济、科技、国防建设中贡献突出、功勋卓著。他强调,建立钱学森图书馆是一件很有意义的事情。要充分发挥这个图书馆在开展思想教育、普及科学知识、培养优秀人才等方面的积极作用,进一步引导广大干部群众特别是青年教师和学生,努力学习钱学森同志爱党爱国的政治品格、严谨求实的科学态度、开拓进取的创新精神、无私奉献的高尚情操,共同为推进中国特色社会主义事业而不懈奋斗。　　中共中央政治局常委李长春专程到上海出席钱学森图书馆开馆仪式,并为钱学森塑像揭幕。开馆仪式结束后,李长春参观了馆内的钱学森事迹展览。这个展览分为“中国航天事业奠基人”、“科学技术前沿的开拓者”、“人民科学家风范”、“战略科学家的成功之道”四个部分,全面展示了钱学森同志奋斗、奉献的一生。在一件件珍贵文献、实物和图片前,李长春不时驻足仔细观看,认真听取讲解员的介绍。李长春说,胡锦涛总书记的重要指示对钱学森同志的光辉业绩和崇高品德给予了高度评价,对充分发挥钱学森图书馆的积极作用提出了明确要求,我们一定要认真学习、深入贯彻。　　要进一步做好有关钱学森文献、实物和资料的征集工作,把钱学森同志留下的宝贵精神财富搜集好、整理好、展示好,突出思想内涵,增强教育意义,使这个图书馆成为宣传钱学森同志科学成就、高尚品德和爱国情怀的重要平台,成为青年教师和学生接受爱国主义教育和励志教育的重要课堂,成为在全社会培养科学精神和创新精神的重要基地,成为展示中国人民自力更生、奋发图强精神风貌的重要窗口,激励广大干部群众特别是科技工作者在提高自主创新能力、建设创新型国家进程中勇攀高峰,作出更大贡献。　　中共中央政治局委员、国务委员刘延东出席开馆仪式并讲话。刘延东说,胡锦涛总书记的重要指示高屋建瓴、思想深刻,为学习宣传钱学森同志先进事迹和崇高精神指明了方向。我们要认真贯彻落实胡锦涛总书记的重要指示精神,通过建设和用好钱学森图书馆等教育基地,不断发扬光大钱学森等老一辈科学家的崇高精神和光荣传统,为建设中国特色社会主义伟大事业作出新的更大贡献。　　中共中央政治局委员、上海市委书记俞正声出席开馆仪式。　　开馆仪式由教育部部长袁贵仁主持。解放军总装备部政委王洪尧、上海市委副书记殷一璀、上海交通大学党委书记马德秀、钱学森之子钱永刚在仪式上先后发言。
content1 fingerprinter = 9223372036579524605
Content2 = Mac OS X v10.4 TigerWelcome to Tiger (PDF)The official user's guide to the Tiger experience.Support CommunitiesSeek help from other Mac OS X v10.4 Tiger users.Software UpdateGet the latest updates to your Mac OS X v10.4 Tiger software.DownloadsManualsSystem RequirementsSee all Support Topics Top Support Topics■I can't receive email■I can't send email■Help with setting up your email accounts■Helpful tips and support for bundled & 3rd party products■Connecting to the Internet with a cable modem■Connecting to the Internet with DSLHow To■Using Mac OS X Mail■Connecting to the Internet■Reset password■Lock your computer screen■Printing & faxing■Accounts, passwords & security■Install Mac OS X 10.4 Tiger■Connecting to networks and sharing your computer■Install Parallels with Windows XP■Play WMA files■Boot Camp overview■Remove Microsoft Office v.X Test DriveFeatures■Mail■iChat■QuickTime■Safari■iSync■iCal■Address Book■Classic EnvironmentAdditional Features.--------------------------------------------------------------------------------Troubleshooting■Mac OS X: Updating your software■Troubleshooting a cable modem, DSL, or LAN Internet connection■Information and download■Apple keyboard mapping in Windows■Mac OS X keyboard shortcuts■Battery not recognized or "X" icon appears on menu bar■Well known TCP and UDP ports used by Apple software products■Issues sending messages in Mail or other email applications■Error message when synching phone via Bluetooth in Mac OS X 10.4.9 or later■Popping sounds after updating to Mac OS X 10.4.10More.Support Communities Discuss Tiger topics with other users in our customer forums. ■Installation & Setup■Mail & Address Book■Getting Online & Networking■Administration, Accounts & Login■Printing & Faxing ■Using Mac OS X Tiger 
content2 fingerprinter = 9222807978594205299
content1 content2 distance = 14

6.2 内容相同
Content1 = 新华社上海12月11日电(记者厉正宏　吴晶)在钱学森同志诞辰100周年之际,钱学森图书馆11日在上海交通大学建成开馆。中共中央总书记、国家主席、中央军委主席胡锦涛对钱学森图书馆建成开馆作出重要指示。….
content1 fingerprinter = 9223372036579524605
Content2 = 新华社上海12月11日电(记者厉正宏　吴晶)在钱学森同志诞辰100周年之际,钱学森图书馆11日在上海交通大学建成开馆。中共中央总书记、国家主席、中央军委主席胡锦涛对钱学森图书馆建成开馆作出重要指示。….
content2 fingerprinter = 9223372036579524605
content1 content2 distance = 0

6.3 内容相似（包含）
Content1 = 新华社上海12月11日电(记者厉正宏　吴晶)在钱学森同志诞辰100周年之际,钱学森图书馆11日在上海交通大学建成开馆。中共中央总书记、国家主席、中央军委主席胡锦涛对钱学森图书馆建成开馆作出重要指示。　　胡锦涛总书记指出,钱学森同志是享誉海内外的杰出科学家、我国航天事业的奠基人、爱国知识分子的优秀典范,在国家经济、科技、国防建设中贡献突、功勋卓著。他强调,建立钱学森图书馆是一件很有意义的事情。要充分发挥这个图书馆在开展思想教育、普及科学知识、培养优秀人才等方面的积极作用,进一步引导广大干部群众特别是青教师和学生,努力学习钱学森同志爱党爱国的政治品格、严谨求实的科学态度、开拓进取的创新精神、无私奉献的高尚情操,共同为推进中国特色社会主义事业而不懈奋斗。　　中共中央政治常委李长春专程到上海出席钱学森图书馆开馆仪式,并为钱学森塑像揭幕。开馆仪式结束后,李长春参观了馆内的钱学森事迹展览。这个展览分为“中国航天事业奠基人”、“科学技术前沿的拓者”、“人民科学家风范”、“战略科学家的成功之道”四个部分,全面展示了钱学森同志奋斗、奉献的一生。在一件件珍贵文献、实物和图片前,李长春不时驻足仔细观看,认真听取讲解员的介绍。李长春说,胡锦涛总书记的重要指示对钱学森同志的光辉业绩和崇高品德给予了高度评价,对充分发挥钱学森图书馆的积极作用提出了明确要求,我们一定要认真学习、深入贯彻。　　要进一步做好有关钱学森文献、实物和资料的征集工作,把钱学森同志留下的宝贵精神财富搜集好、整理好、展示好,突出思想内涵,增强教育意义,使这个图书馆成为宣传钱学森同志科学成就高尚品德和爱国情怀的重要平台,成为青年教师和学生接受爱国主义教育和励志教育的重要课堂,成为在全社会培养科学精神和创新精神的重要基地,成为展示中国人民自力更生、奋发图强精神风貌的重要窗口,激励广大干部群众特别是科技工作者在提高自主创新能力、建设创新型国家进程中勇攀高峰,作出更大贡献。　　中共中央政治局委员、国务委员刘延东出席开馆仪式并讲话刘延东说,胡锦涛总书记的重要指示高屋建瓴、思想深刻,为学习宣传钱学森同志先进事迹和崇高精神指明了方向。我们要认真贯彻落实胡锦涛总书记的重要指示精神,通过建设和用好钱学森图书馆等教育基地,不断发扬光大钱学森等老一辈科学家的崇高精神和光荣传统,为建设中国特色社会主义伟大事业作出新的更大贡献。　　中共中央政治局委员、上海市委书记俞正声出席开馆式。　　开馆仪式由教育部部长袁贵仁主持。解放军总装备部政委王洪尧、上海市委副书记殷一璀、上海交通大学党委书记马德秀、钱学森之子钱永刚在仪式上先后发言。
content1 fingerprinter = 9223372036579524605
Content2 = 新华社上海12月11日电(记者厉正宏　吴晶)在钱学森同志诞辰100周年之际,钱学森图书馆11日在上海交通大学建成开馆。中共中央总书记、国家主席、中央军委主席胡锦涛对钱学森图书馆建成开馆作出重要指示。　　胡锦涛总书记指出,钱学森同志是享誉海内外的杰出科学家、我国航天事业的奠基人、爱国知识分子的优秀典范,在国家经济、科技、国防建设中贡献突、功勋卓著。他强调,建立钱学森图书馆是一件很有意义的事情。要充分发挥这个图书馆在开展思想教育、普及科学知识、培养优秀人才等方面的积极作用,进一步引导广大干部群众特别是青教师和学生,努力学习钱学森同志爱党爱国的政治品格、严谨求实的科学态度、开拓进取的创新精神、无私奉献的高尚情操,共同为推进中国特色社会主义事业而不懈奋斗。
content2 fingerprinter = 8070441718968745849
content1 content2 distance = 7
6.4 处理效率
处理效率= （内容1字数 + 内容2字数）×重复次数 / 时间
CONTENTTYPE	效率（字/秒）
中英	2211612
中文	1247368

6.5 遗留问题（mantis：0002933）
问题
<正文指纹>当几乎相同的正文内容中有不同的数字、字母（全半角）时，指纹相差较大

现象
Content1 = 新华社上海12月11日电(记者厉正宏　吴晶)在钱学森同志诞辰100周年之际,钱学森图书馆11日在上海交通大学建成开馆。中共中央总书记、国家主席、中央军委主席胡锦涛对钱学森图书馆建成开馆作出重要指示。
content1 fingerprinter = 1724377254170442105
Content2 = 新华网上海１２月１１日电（记者厉正宏、吴晶）在钱学森同志诞辰１００周年之际，钱学森图书馆１１日在上海交通大学建成开馆。中共中央总书记、国家主席、中央军委主席胡锦涛对钱学森图书馆建成开馆作出重要指示。
content2 fingerprinter = 6340984712413559161
content1 content2 distance = 2
原因分析
分词结果中没有权重信息，导致所有内容权重相同，对结果影响较大。
7 结果分析
1、	功能上满足设计需求；
2、	每秒处理效率可以达到一百万字以上。