杨尚川

一种通用的网页相似度检测算法

如果我们需要在海量的结构未知的网页库中找到和指定的网页相似度比较高的一些网页，我们该怎么办呢？本文提出的“一种通用的网页相似度检测算法”就是专门解决这个问题。

算法如下：

1、提取网页文本。这个提取步骤不要求精确，也没办法精确，因为你面对的是未知结构的网页，所以只需要提取去掉标签之后的文本即可。

2、对提取的文本进行分词。我们使用开源的中文分词组件word分词。

3、为每一个网页建立一个词向量，向量的维度就是两个网页的不重复词的并集，每一个维度的权重就是词频TF，我们这里忽略IDF也不影响。

4、计算词向量的余弦相似度或简单共有词。

5、相似度分值超过0.5的基本上可以视为这两个网页拥有相同的内容。

算法的实现代码来自本人的rank项目：

https://github.com/ysc/rank/blob/master/src/main/java/org/seo/rank/impl/GenericWebPageSimilarChecker.java

我的ITEYE（http://yangshangchuan.iteye.com）和OSCHINA（http://my.oschina.net/apdplat/blog）博客有很多同样的博文，主要目的是备份，这里刚好用来测试相似度检测算法的效果，从测试效果来看，相似度分值低于0.5的两篇博文，一篇是由于正文内容太少，不足以抵消干扰信息，另一篇是由于博文不是完整的内容，具体两种相似度判定情况如下所示：

判定相似性的方式一：简单共有词

检查的博文数：103，相似度大于等于0.5的博文数：103，相似度小于0.5的博文数：0

1、检查博文：一个月的时间让你的词汇量翻一翻，相似度分值：0.99

博文地址1：http://my.oschina.net/apdplat/blog/379303
博文地址2：http://yangshangchuan.iteye.com/blog/2186301

2、检查博文：1208个合成词，相似度分值：0.99

博文地址1：http://my.oschina.net/apdplat/blog/393724
博文地址2：http://yangshangchuan.iteye.com/blog/2197556

3、检查博文：分析996个词根在各大考纲词汇中的作用（五）总结精选篇，相似度分值：0.99

博文地址1：http://my.oschina.net/apdplat/blog/391865
博文地址2：http://yangshangchuan.iteye.com/blog/2195991

4、检查博文：根据76大细分词性对单词进行归组（二），相似度分值：0.99

博文地址1：http://my.oschina.net/apdplat/blog/393774
博文地址2：http://yangshangchuan.iteye.com/blog/2197877

5、检查博文：根据76大细分词性对单词进行归组（一），相似度分值：0.99

博文地址1：http://my.oschina.net/apdplat/blog/393771
博文地址2：http://yangshangchuan.iteye.com/blog/2197874

6、检查博文：2000个软件开发领域的高频特殊词及精选例句（一），相似度分值：0.99

博文地址1：http://my.oschina.net/apdplat/blog/389200
博文地址2：http://yangshangchuan.iteye.com/blog/2195665

7、检查博文：JDK源代码中最重要的4646个英语单词，相似度分值：0.98

博文地址1：http://my.oschina.net/apdplat/blog/390915
博文地址2：http://yangshangchuan.iteye.com/blog/2195664

8、检查博文：利用1189个精选句子彻底掌握2190个单词，相似度分值：0.98

博文地址1：http://my.oschina.net/apdplat/blog/394941
博文地址2：http://yangshangchuan.iteye.com/blog/2199287

9、检查博文：词组习语3054组，相似度分值：0.97

博文地址1：http://my.oschina.net/apdplat/blog/393374
博文地址2：http://yangshangchuan.iteye.com/blog/2197555

10、检查博文：英语单词后缀规则总结，相似度分值：0.97

博文地址1：http://my.oschina.net/apdplat/blog/379330
博文地址2：http://yangshangchuan.iteye.com/blog/2186326

11、检查博文：英语单词音近形似转化规律研究，相似度分值：0.97

博文地址1：http://my.oschina.net/apdplat/blog/378569
博文地址2：http://yangshangchuan.iteye.com/blog/2186300

12、检查博文：英语单词前缀规则总结，相似度分值：0.96

博文地址1：http://my.oschina.net/apdplat/blog/378753
博文地址2：http://yangshangchuan.iteye.com/blog/2186327

13、检查博文：192本软件著作用词分析（五）用词最复杂99级，相似度分值：0.95

博文地址1：http://my.oschina.net/apdplat/blog/388816
博文地址2：http://yangshangchuan.iteye.com/blog/2194214

14、检查博文：分析151个后缀在各大考纲词汇中的作用（三）总结精选篇，相似度分值：0.95

博文地址1：http://my.oschina.net/apdplat/blog/392466
博文地址2：http://yangshangchuan.iteye.com/blog/2196690

15、检查博文：二百多部软件著作中最重要的9224个英语单词，相似度分值：0.94

博文地址1：http://my.oschina.net/apdplat/blog/391023
博文地址2：http://yangshangchuan.iteye.com/blog/2195559

16、检查博文：JDK源代码以及200多部软件著作中出现的以连字符构造的1011个合成词，相似度分值：0.94

博文地址1：http://my.oschina.net/apdplat/blog/394495
博文地址2：http://yangshangchuan.iteye.com/blog/2199283

17、检查博文：分析在各大考纲词汇中既没有词根也没有前缀和后缀的独立单词，相似度分值：0.94

博文地址1：http://my.oschina.net/apdplat/blog/392483
博文地址2：http://yangshangchuan.iteye.com/blog/2196691

18、检查博文：分析113个前缀在各大考纲词汇中的作用（二）总结精选篇，相似度分值：0.94

博文地址1：http://my.oschina.net/apdplat/blog/392456
博文地址2：http://yangshangchuan.iteye.com/blog/2195996

19、检查博文：OSCHINA博文抄袭检查，相似度分值：0.94

博文地址1：http://my.oschina.net/apdplat/blog/396414
博文地址2：http://yangshangchuan.iteye.com/blog/2200451

20、检查博文：ITEYE博文抄袭检查，相似度分值：0.93

博文地址1：http://my.oschina.net/apdplat/blog/396411
博文地址2：http://yangshangchuan.iteye.com/blog/2199536

21、检查博文：一种防止用户生成内容站点出现商业广告以及非法有害等垃圾信息的方法，相似度分值：0.92

博文地址1：http://my.oschina.net/apdplat/blog/398338
博文地址2：http://yangshangchuan.iteye.com/blog/2200810

22、检查博文：分析在各大考纲词汇中同时拥有前缀后缀和词根的词（一），相似度分值：0.91

博文地址1：http://my.oschina.net/apdplat/blog/392490
博文地址2：http://yangshangchuan.iteye.com/blog/2198571

23、检查博文：软件业的奥斯卡奖：JOLT奖之最好的书，相似度分值：0.9

博文地址1：http://my.oschina.net/apdplat/blog/395681
博文地址2：http://yangshangchuan.iteye.com/blog/1837328

24、检查博文：计算ITEYE博文在百度的收录与排名情况，相似度分值：0.87

博文地址1：http://my.oschina.net/apdplat/blog/395970
博文地址2：http://yangshangchuan.iteye.com/blog/2199419

25、检查博文：APDPlat中数据库备份恢复的设计与实现，相似度分值：0.84

博文地址1：http://my.oschina.net/apdplat/blog/196912
博文地址2：http://yangshangchuan.iteye.com/blog/2010680

26、检查博文：中文分词算法之基于词典的逆向最大匹配算法，相似度分值：0.84

博文地址1：http://my.oschina.net/apdplat/blog/210427
博文地址2：http://yangshangchuan.iteye.com/blog/2033843

27、检查博文：Java中文分词组件 - word分词，相似度分值：0.84

博文地址1：http://my.oschina.net/apdplat/blog/228619
博文地址2：http://yangshangchuan.iteye.com/blog/2056959

28、检查博文：网络爬虫面临的挑战之链接构造，相似度分值：0.84

博文地址1：http://my.oschina.net/apdplat/blog/208716
博文地址2：http://yangshangchuan.iteye.com/blog/2031642

29、检查博文：APDPlat中的用户密码安全策略，相似度分值：0.83

博文地址1：http://my.oschina.net/apdplat/blog/207124
博文地址2：http://yangshangchuan.iteye.com/blog/2029367

30、检查博文：Hadoop发行版的比较与选择，相似度分值：0.81

博文地址1：http://my.oschina.net/apdplat/blog/397625
博文地址2：http://yangshangchuan.iteye.com/blog/1972846

31、检查博文：APDPlat拓展搜索之集成ElasticSearch，相似度分值：0.81

博文地址1：http://my.oschina.net/apdplat/blog/197012
博文地址2：http://yangshangchuan.iteye.com/blog/2010755

32、检查博文：大数据系列11：Gora – 大数据持久化，相似度分值：0.81

博文地址1：http://my.oschina.net/apdplat/blog/396684
博文地址2：http://yangshangchuan.iteye.com/blog/1953733

33、检查博文：APDPlat拓展搜索之集成Solr，相似度分值：0.81

博文地址1：http://my.oschina.net/apdplat/blog/197020
博文地址2：http://yangshangchuan.iteye.com/blog/2010760

34、检查博文：APDPlat如何自动建库建表并初始化数据？，相似度分值：0.8

博文地址1：http://my.oschina.net/apdplat/blog/197703
博文地址2：http://yangshangchuan.iteye.com/blog/2012220

35、检查博文：中文分词算法之基于词典的正向最大匹配算法，相似度分值：0.8

博文地址1：http://my.oschina.net/apdplat/blog/209211
博文地址2：http://yangshangchuan.iteye.com/blog/2031813

36、检查博文：Java应用系统中自动实时检测资源文件内容变化，相似度分值：0.78

博文地址1：http://my.oschina.net/apdplat/blog/312609
博文地址2：http://yangshangchuan.iteye.com/blog/2115461

37、检查博文：采集电子报纸，相似度分值：0.78

博文地址1：http://my.oschina.net/apdplat/blog/397051
博文地址2：http://yangshangchuan.iteye.com/blog/1996911

38、检查博文：Java开源项目cws_evaluation：中文分词器分词效果评估，相似度分值：0.78

博文地址1：http://my.oschina.net/apdplat/blog/308391
博文地址2：http://yangshangchuan.iteye.com/blog/2059040

39、检查博文：APDPlat中业务日志和监控日志的设计与实现，相似度分值：0.78

博文地址1：http://my.oschina.net/apdplat/blog/196604
博文地址2：http://yangshangchuan.iteye.com/blog/2010571

40、检查博文：APDPlat的系统启动和关闭流程剖析，相似度分值：0.77

博文地址1：http://my.oschina.net/apdplat/blog/197067
博文地址2：http://yangshangchuan.iteye.com/blog/2010808

41、检查博文：The Future of Compass & ElasticSearch，相似度分值：0.77

博文地址1：http://my.oschina.net/apdplat/blog/397148
博文地址2：http://yangshangchuan.iteye.com/blog/2010721

42、检查博文：APDPlat中领域模型的自描述机制与事件通知机制，相似度分值：0.76

博文地址1：http://my.oschina.net/apdplat/blog/196973
博文地址2：http://yangshangchuan.iteye.com/blog/2010734

43、检查博文：APDPlat中备份文件异地容灾机制之FTP上传，相似度分值：0.76

博文地址1：http://my.oschina.net/apdplat/blog/197005
博文地址2：http://yangshangchuan.iteye.com/blog/2010750

44、检查博文：QuestionAnsweringSystem v1.1 发布，人机问答系统，相似度分值：0.76

博文地址1：http://my.oschina.net/apdplat/blog/308392
博文地址2：http://yangshangchuan.iteye.com/blog/2101533

45、检查博文：APDPlat中的机器码生成机制，相似度分值：0.75

博文地址1：http://my.oschina.net/apdplat/blog/197805
博文地址2：http://yangshangchuan.iteye.com/blog/2012401

46、检查博文：大数据系列4：Hive – 基于HADOOP的数据仓库，相似度分值：0.74

博文地址1：http://my.oschina.net/apdplat/blog/396582
博文地址2：http://yangshangchuan.iteye.com/blog/1950178

47、检查博文：基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎，相似度分值：0.73

博文地址1：http://my.oschina.net/apdplat/blog/308396
博文地址2：http://yangshangchuan.iteye.com/blog/2103664

48、检查博文：软件熵：软件开发中推倒重来的过程就是软件熵不断增加的过程，相似度分值：0.73

博文地址1：http://my.oschina.net/apdplat/blog/311291
博文地址2：http://yangshangchuan.iteye.com/blog/2113923

49、检查博文：大数据系列1：在win7上安装配置Hadoop伪分布式集群，相似度分值：0.72

博文地址1：http://my.oschina.net/apdplat/blog/396579
博文地址2：http://yangshangchuan.iteye.com/blog/1953929

50、检查博文：new一个Object对象占用多少内存？，相似度分值：0.72

博文地址1：http://my.oschina.net/apdplat/blog/208456
博文地址2：http://yangshangchuan.iteye.com/blog/2021423

51、检查博文：中文分词效果对比，相似度分值：0.72

博文地址1：http://my.oschina.net/apdplat/blog/228614
博文地址2：http://yangshangchuan.iteye.com/blog/2043184

52、检查博文：运行nutch提示：0 records selected for fetching, exiting，相似度分值：0.72

博文地址1：http://my.oschina.net/apdplat/blog/396699
博文地址2：http://yangshangchuan.iteye.com/blog/2033009

53、检查博文：Amazon Dynamo的NWR模型，相似度分值：0.71

博文地址1：http://my.oschina.net/apdplat/blog/393783
博文地址2：http://yangshangchuan.iteye.com/blog/2010574

54、检查博文：配置Nutch模拟浏览器以绕过反爬虫限制，相似度分值：0.71

博文地址1：http://my.oschina.net/apdplat/blog/208457
博文地址2：http://yangshangchuan.iteye.com/blog/2030741

55、检查博文：Ubuntu上安装HADOOP多机完全分布式集群，相似度分值：0.7

博文地址1：http://my.oschina.net/apdplat/blog/397146
博文地址2：http://yangshangchuan.iteye.com/blog/1840481

56、检查博文：Java实现的基于模板的网页结构化信息精准抽取组件：HtmlExtractor，相似度分值：0.7

博文地址1：http://my.oschina.net/apdplat/blog/308400
博文地址2：http://yangshangchuan.iteye.com/blog/2110604

57、检查博文：APDPlat旗下10大开源项目，欢迎大家一起来参与，相似度分值：0.7

博文地址1：http://my.oschina.net/apdplat/blog/395498
博文地址2：http://yangshangchuan.iteye.com/blog/2200130

58、检查博文：中文分词算法之词典机制性能优化与测试，相似度分值：0.7

博文地址1：http://my.oschina.net/apdplat/blog/213968
博文地址2：http://yangshangchuan.iteye.com/blog/2035007

59、检查博文：给JAVA源代码文件统一地添加licence信息头，相似度分值：0.7

博文地址1：http://my.oschina.net/apdplat/blog/396415
博文地址2：http://yangshangchuan.iteye.com/blog/1841150

60、检查博文：技术框架太多，多的眼花缭乱，如何在众多选择中找到自己的方向？，相似度分值：0.7

博文地址1：http://my.oschina.net/apdplat/blog/393810
博文地址2：http://yangshangchuan.iteye.com/blog/2197217

61、检查博文：大数据系列6：HBase – 基于Hadoop的分布式数据库，相似度分值：0.69

博文地址1：http://my.oschina.net/apdplat/blog/396587
博文地址2：http://yangshangchuan.iteye.com/blog/1954018

62、检查博文：运行nutch报错：unzipBestEffort returned null，相似度分值：0.69

博文地址1：http://my.oschina.net/apdplat/blog/207653
博文地址2：http://yangshangchuan.iteye.com/blog/2030096

63、检查博文：JAVA调用CSDN接口发博文，相似度分值：0.69

博文地址1：http://my.oschina.net/apdplat/blog/200145
博文地址2：http://yangshangchuan.iteye.com/blog/2017751

64、检查博文：The Design of HDFS，相似度分值：0.68

博文地址1：http://my.oschina.net/apdplat/blog/397149
博文地址2：http://yangshangchuan.iteye.com/blog/2002898

65、检查博文：大数据系列7：Storm – 流计算，相似度分值：0.68

博文地址1：http://my.oschina.net/apdplat/blog/396589
博文地址2：http://yangshangchuan.iteye.com/blog/1950165

66、检查博文：使用JSoup+CSSPath采集和讯网人物信息，相似度分值：0.68

博文地址1：http://my.oschina.net/apdplat/blog/397143
博文地址2：http://yangshangchuan.iteye.com/blog/1966497

67、检查博文：大数据系列5：Pig – 大数据分析平台，相似度分值：0.68

博文地址1：http://my.oschina.net/apdplat/blog/396584
博文地址2：http://yangshangchuan.iteye.com/blog/1950274

68、检查博文：如何在你的应用中集成人机问答系统QuestionAnsweringSystem?，相似度分值：0.67

博文地址1：http://my.oschina.net/apdplat/blog/308397
博文地址2：http://yangshangchuan.iteye.com/blog/2108250

69、检查博文：如何解决BUG？，相似度分值：0.67

博文地址1：http://my.oschina.net/apdplat/blog/394216
博文地址2：http://yangshangchuan.iteye.com/blog/1960489

70、检查博文：Windows上安装HADOOP单机伪分布式集群，相似度分值：0.67

博文地址1：http://my.oschina.net/apdplat/blog/397147
博文地址2：http://yangshangchuan.iteye.com/blog/1839814

71、检查博文：分布式内存文件系统：Tachyon，相似度分值：0.66

博文地址1：http://my.oschina.net/apdplat/blog/377832
博文地址2：http://yangshangchuan.iteye.com/blog/2199538

72、检查博文：30个JDK类库源代码中最频繁出现的词的深度分析，相似度分值：0.65

博文地址1：http://my.oschina.net/apdplat/blog/390615
博文地址2：http://yangshangchuan.iteye.com/blog/2194885

73、检查博文：Ubuntu上安装HADOOP单机伪分布式集群，相似度分值：0.65

博文地址1：http://my.oschina.net/apdplat/blog/397145
博文地址2：http://yangshangchuan.iteye.com/blog/1839809

74、检查博文：使用CountDownLatch来模拟马拉松比赛，相似度分值：0.64

博文地址1：http://my.oschina.net/apdplat/blog/385448
博文地址2：http://yangshangchuan.iteye.com/blog/2198572

75、检查博文：大数据系列10：Spark – 内存计算，相似度分值：0.64

博文地址1：http://my.oschina.net/apdplat/blog/396683
博文地址2：http://yangshangchuan.iteye.com/blog/1950276

76、检查博文：Java8全新打造，英语学习supertool，相似度分值：0.64

博文地址1：http://my.oschina.net/apdplat/blog/393187
博文地址2：http://yangshangchuan.iteye.com/blog/2196853

77、检查博文：模拟浏览器的神器 - HtmlUnit，相似度分值：0.64

博文地址1：http://my.oschina.net/apdplat/blog/217586
博文地址2：http://yangshangchuan.iteye.com/blog/2036809

78、检查博文：对Nutch2.1抽象存储层的一些看法，相似度分值：0.64

博文地址1：http://my.oschina.net/apdplat/blog/396129
博文地址2：http://yangshangchuan.iteye.com/blog/1835074

79、检查博文：动态索引结构和索引更新机制，相似度分值：0.63

博文地址1：http://my.oschina.net/apdplat/blog/308393
博文地址2：http://yangshangchuan.iteye.com/blog/2103647

80、检查博文：大数据系列2：建立开发环境编写HDFS和Map Reduce程序，相似度分值：0.63

博文地址1：http://my.oschina.net/apdplat/blog/396580
博文地址2：http://yangshangchuan.iteye.com/blog/1950158

81、检查博文：Nutch的发展历程，相似度分值：0.63

博文地址1：http://my.oschina.net/apdplat/blog/397151
博文地址2：http://yangshangchuan.iteye.com/blog/1949212

82、检查博文：使用Java调用百度搜索，相似度分值：0.63

博文地址1：http://my.oschina.net/apdplat/blog/397129
博文地址2：http://yangshangchuan.iteye.com/blog/1961058

83、检查博文：分布式搜索算法，相似度分值：0.63

博文地址1：http://my.oschina.net/apdplat/blog/396196
博文地址2：http://yangshangchuan.iteye.com/blog/1965212

84、检查博文：Nutch抓取需要登录的网站，相似度分值：0.63

博文地址1：http://my.oschina.net/apdplat/blog/208723
博文地址2：http://yangshangchuan.iteye.com/blog/2031742

85、检查博文：Cygwin运行nutch报错：Failed to set permissions of path，相似度分值：0.62

博文地址1：http://my.oschina.net/apdplat/blog/396698
博文地址2：http://yangshangchuan.iteye.com/blog/1839784

86、检查博文：使用Java调用谷歌搜索，相似度分值：0.62

博文地址1：http://my.oschina.net/apdplat/blog/397127
博文地址2：http://yangshangchuan.iteye.com/blog/1961059

87、检查博文：HBase on CAP，相似度分值：0.6

博文地址1：http://my.oschina.net/apdplat/blog/397628
博文地址2：http://yangshangchuan.iteye.com/blog/2002544

88、检查博文：APDPlat的日志国际化实现方式，相似度分值：0.6

博文地址1：http://my.oschina.net/apdplat/blog/196605
博文地址2：http://yangshangchuan.iteye.com/blog/1974027

89、检查博文：Hadoop分布式文件系统HDFS和OpenStack对象存储系统Swift有何不同？，相似度分值：0.6

博文地址1：http://my.oschina.net/apdplat/blog/396126
博文地址2：http://yangshangchuan.iteye.com/blog/1969491

90、检查博文：大数据系列12：Hadoop2 – 全新的Hadoop，相似度分值：0.6

博文地址1：http://my.oschina.net/apdplat/blog/396685
博文地址2：http://yangshangchuan.iteye.com/blog/1967994

91、检查博文：SOLR4.2+NUTCH1.6，相似度分值：0.6

博文地址1：http://my.oschina.net/apdplat/blog/397150
博文地址2：http://yangshangchuan.iteye.com/blog/2200131

92、检查博文：大数据系列9：Mahout – 机器学习，相似度分值：0.59

博文地址1：http://my.oschina.net/apdplat/blog/396682
博文地址2：http://yangshangchuan.iteye.com/blog/1950172

93、检查博文：中文分词算法之基于词典的正向最小匹配算法，相似度分值：0.59

博文地址1：http://my.oschina.net/apdplat/blog/217588
博文地址2：http://yangshangchuan.iteye.com/blog/2040423

94、检查博文：中文分词算法之基于词典的逆向最小匹配算法，相似度分值：0.59

博文地址1：http://my.oschina.net/apdplat/blog/217589
博文地址2：http://yangshangchuan.iteye.com/blog/2040431

95、检查博文：使用Java8实现自己的个性化搜索引擎，相似度分值：0.59

博文地址1：http://my.oschina.net/apdplat/blog/396193
博文地址2：http://yangshangchuan.iteye.com/blog/2199420

96、检查博文：nutch2.1+mysql报错及解决，相似度分值：0.58

博文地址1：http://my.oschina.net/apdplat/blog/397144
博文地址2：http://yangshangchuan.iteye.com/blog/1839782

97、检查博文：搜索引擎的分片（shard）和副本（replica）机制，相似度分值：0.58

博文地址1：http://my.oschina.net/apdplat/blog/308395
博文地址2：http://yangshangchuan.iteye.com/blog/2103650

98、检查博文：Java中的null引用，超乎你想象，相似度分值：0.58

博文地址1：http://my.oschina.net/apdplat/blog/217587
博文地址2：http://yangshangchuan.iteye.com/blog/2038163

99、检查博文：配置Cygwin支持无密码SSH登陆，相似度分值：0.57

博文地址1：http://my.oschina.net/apdplat/blog/397057
博文地址2：http://yangshangchuan.iteye.com/blog/1839812

100、检查博文：给LUKE增加word分词器，相似度分值：0.57

博文地址1：http://my.oschina.net/apdplat/blog/397069
博文地址2：http://yangshangchuan.iteye.com/blog/2200077

101、检查博文：word分词器、ansj分词器、mmseg4j分词器、ik-analyzer分词器分词效果评估，相似度分值：0.57

博文地址1：http://my.oschina.net/apdplat/blog/228615
博文地址2：http://yangshangchuan.iteye.com/blog/2056537

102、检查博文：大数据系列3：用Python编写MapReduce，相似度分值：0.56

博文地址1：http://my.oschina.net/apdplat/blog/396581
博文地址2：http://yangshangchuan.iteye.com/blog/1950157

103、检查博文：大数据系列8：Sqoop – HADOOP和RDBMS数据交换，相似度分值：0.55

博文地址1：http://my.oschina.net/apdplat/blog/396681
博文地址2：http://yangshangchuan.iteye.com/blog/1950171

判定相似性的方式二：余弦相似度

检查的博文数：103，相似度大于等于0.5的博文数：101，相似度小于0.5的博文数：2

1、检查博文：二百多部软件著作中最重要的9224个英语单词，相似度分值：0.99

博文地址1：http://my.oschina.net/apdplat/blog/391023
博文地址2：http://yangshangchuan.iteye.com/blog/2195559

2、检查博文：JDK源代码中最重要的4646个英语单词，相似度分值：0.99

博文地址1：http://my.oschina.net/apdplat/blog/390915
博文地址2：http://yangshangchuan.iteye.com/blog/2195664

3、检查博文：JDK源代码以及200多部软件著作中出现的以连字符构造的1011个合成词，相似度分值：0.99

博文地址1：http://my.oschina.net/apdplat/blog/394495
博文地址2：http://yangshangchuan.iteye.com/blog/2199283

4、检查博文：一种防止用户生成内容站点出现商业广告以及非法有害等垃圾信息的方法，相似度分值：0.99

博文地址1：http://my.oschina.net/apdplat/blog/398338
博文地址2：http://yangshangchuan.iteye.com/blog/2200810

5、检查博文：利用1189个精选句子彻底掌握2190个单词，相似度分值：0.99

博文地址1：http://my.oschina.net/apdplat/blog/394941
博文地址2：http://yangshangchuan.iteye.com/blog/2199287

6、检查博文：分析在各大考纲词汇中同时拥有前缀后缀和词根的词（一），相似度分值：0.98

博文地址1：http://my.oschina.net/apdplat/blog/392490
博文地址2：http://yangshangchuan.iteye.com/blog/2198571

7、检查博文：采集电子报纸，相似度分值：0.98

博文地址1：http://my.oschina.net/apdplat/blog/397051
博文地址2：http://yangshangchuan.iteye.com/blog/1996911

8、检查博文：Java开源项目cws_evaluation：中文分词器分词效果评估，相似度分值：0.98

博文地址1：http://my.oschina.net/apdplat/blog/308391
博文地址2：http://yangshangchuan.iteye.com/blog/2059040

9、检查博文：大数据系列11：Gora – 大数据持久化，相似度分值：0.98

博文地址1：http://my.oschina.net/apdplat/blog/396684
博文地址2：http://yangshangchuan.iteye.com/blog/1953733

10、检查博文：2000个软件开发领域的高频特殊词及精选例句（一），相似度分值：0.97

博文地址1：http://my.oschina.net/apdplat/blog/389200
博文地址2：http://yangshangchuan.iteye.com/blog/2195665

11、检查博文：ITEYE博文抄袭检查，相似度分值：0.97

博文地址1：http://my.oschina.net/apdplat/blog/396411
博文地址2：http://yangshangchuan.iteye.com/blog/2199536

12、检查博文：OSCHINA博文抄袭检查，相似度分值：0.97

博文地址1：http://my.oschina.net/apdplat/blog/396414
博文地址2：http://yangshangchuan.iteye.com/blog/2200451

13、检查博文：中文分词算法之基于词典的逆向最大匹配算法，相似度分值：0.97

博文地址1：http://my.oschina.net/apdplat/blog/210427
博文地址2：http://yangshangchuan.iteye.com/blog/2033843

14、检查博文：网络爬虫面临的挑战之链接构造，相似度分值：0.97

博文地址1：http://my.oschina.net/apdplat/blog/208716
博文地址2：http://yangshangchuan.iteye.com/blog/2031642

15、检查博文：英语单词音近形似转化规律研究，相似度分值：0.97

博文地址1：http://my.oschina.net/apdplat/blog/378569
博文地址2：http://yangshangchuan.iteye.com/blog/2186300

16、检查博文：APDPlat中数据库备份恢复的设计与实现，相似度分值：0.96

博文地址1：http://my.oschina.net/apdplat/blog/196912
博文地址2：http://yangshangchuan.iteye.com/blog/2010680

17、检查博文：1208个合成词，相似度分值：0.96

博文地址1：http://my.oschina.net/apdplat/blog/393724
博文地址2：http://yangshangchuan.iteye.com/blog/2197556

18、检查博文：分析996个词根在各大考纲词汇中的作用（五）总结精选篇，相似度分值：0.96

博文地址1：http://my.oschina.net/apdplat/blog/391865
博文地址2：http://yangshangchuan.iteye.com/blog/2195991

19、检查博文：中文分词算法之基于词典的正向最大匹配算法，相似度分值：0.96

博文地址1：http://my.oschina.net/apdplat/blog/209211
博文地址2：http://yangshangchuan.iteye.com/blog/2031813

20、检查博文：分析113个前缀在各大考纲词汇中的作用（二）总结精选篇，相似度分值：0.96

博文地址1：http://my.oschina.net/apdplat/blog/392456
博文地址2：http://yangshangchuan.iteye.com/blog/2195996

21、检查博文：分析151个后缀在各大考纲词汇中的作用（三）总结精选篇，相似度分值：0.96

博文地址1：http://my.oschina.net/apdplat/blog/392466
博文地址2：http://yangshangchuan.iteye.com/blog/2196690

22、检查博文：Java应用系统中自动实时检测资源文件内容变化，相似度分值：0.96

博文地址1：http://my.oschina.net/apdplat/blog/312609
博文地址2：http://yangshangchuan.iteye.com/blog/2115461

23、检查博文：Java中文分词组件 - word分词，相似度分值：0.96

博文地址1：http://my.oschina.net/apdplat/blog/228619
博文地址2：http://yangshangchuan.iteye.com/blog/2056959

24、检查博文：英语单词后缀规则总结，相似度分值：0.96

博文地址1：http://my.oschina.net/apdplat/blog/379330
博文地址2：http://yangshangchuan.iteye.com/blog/2186326

25、检查博文：英语单词前缀规则总结，相似度分值：0.96

博文地址1：http://my.oschina.net/apdplat/blog/378753
博文地址2：http://yangshangchuan.iteye.com/blog/2186327

26、检查博文：APDPlat中领域模型的自描述机制与事件通知机制，相似度分值：0.95

博文地址1：http://my.oschina.net/apdplat/blog/196973
博文地址2：http://yangshangchuan.iteye.com/blog/2010734

27、检查博文：词组习语3054组，相似度分值：0.95

博文地址1：http://my.oschina.net/apdplat/blog/393374
博文地址2：http://yangshangchuan.iteye.com/blog/2197555

28、检查博文：APDPlat中的用户密码安全策略，相似度分值：0.95

博文地址1：http://my.oschina.net/apdplat/blog/207124
博文地址2：http://yangshangchuan.iteye.com/blog/2029367

29、检查博文：APDPlat拓展搜索之集成Solr，相似度分值：0.95

博文地址1：http://my.oschina.net/apdplat/blog/197020
博文地址2：http://yangshangchuan.iteye.com/blog/2010760

30、检查博文：根据76大细分词性对单词进行归组（一），相似度分值：0.94

博文地址1：http://my.oschina.net/apdplat/blog/393771
博文地址2：http://yangshangchuan.iteye.com/blog/2197874

31、检查博文：大数据系列6：HBase – 基于Hadoop的分布式数据库，相似度分值：0.94

博文地址1：http://my.oschina.net/apdplat/blog/396587
博文地址2：http://yangshangchuan.iteye.com/blog/1954018

32、检查博文：大数据系列4：Hive – 基于HADOOP的数据仓库，相似度分值：0.94

博文地址1：http://my.oschina.net/apdplat/blog/396582
博文地址2：http://yangshangchuan.iteye.com/blog/1950178

33、检查博文：运行nutch提示：0 records selected for fetching, exiting，相似度分值：0.94

博文地址1：http://my.oschina.net/apdplat/blog/396699
博文地址2：http://yangshangchuan.iteye.com/blog/2033009

34、检查博文：计算ITEYE博文在百度的收录与排名情况，相似度分值：0.93

博文地址1：http://my.oschina.net/apdplat/blog/395970
博文地址2：http://yangshangchuan.iteye.com/blog/2199419

35、检查博文：软件业的奥斯卡奖：JOLT奖之最好的书，相似度分值：0.92

博文地址1：http://my.oschina.net/apdplat/blog/395681
博文地址2：http://yangshangchuan.iteye.com/blog/1837328

36、检查博文：192本软件著作用词分析（五）用词最复杂99级，相似度分值：0.91

博文地址1：http://my.oschina.net/apdplat/blog/388816
博文地址2：http://yangshangchuan.iteye.com/blog/2194214

37、检查博文：APDPlat中的机器码生成机制，相似度分值：0.91

博文地址1：http://my.oschina.net/apdplat/blog/197805
博文地址2：http://yangshangchuan.iteye.com/blog/2012401

38、检查博文：APDPlat拓展搜索之集成ElasticSearch，相似度分值：0.91

博文地址1：http://my.oschina.net/apdplat/blog/197012
博文地址2：http://yangshangchuan.iteye.com/blog/2010755

39、检查博文：APDPlat中业务日志和监控日志的设计与实现，相似度分值：0.91

博文地址1：http://my.oschina.net/apdplat/blog/196604
博文地址2：http://yangshangchuan.iteye.com/blog/2010571

40、检查博文：根据76大细分词性对单词进行归组（二），相似度分值：0.9

博文地址1：http://my.oschina.net/apdplat/blog/393774
博文地址2：http://yangshangchuan.iteye.com/blog/2197877

41、检查博文：使用JSoup+CSSPath采集和讯网人物信息，相似度分值：0.9

博文地址1：http://my.oschina.net/apdplat/blog/397143
博文地址2：http://yangshangchuan.iteye.com/blog/1966497

42、检查博文：APDPlat中备份文件异地容灾机制之FTP上传，相似度分值：0.89

博文地址1：http://my.oschina.net/apdplat/blog/197005
博文地址2：http://yangshangchuan.iteye.com/blog/2010750

43、检查博文：使用CountDownLatch来模拟马拉松比赛，相似度分值：0.89

博文地址1：http://my.oschina.net/apdplat/blog/385448
博文地址2：http://yangshangchuan.iteye.com/blog/2198572

44、检查博文：配置Nutch模拟浏览器以绕过反爬虫限制，相似度分值：0.89

博文地址1：http://my.oschina.net/apdplat/blog/208457
博文地址2：http://yangshangchuan.iteye.com/blog/2030741

45、检查博文：一个月的时间让你的词汇量翻一翻，相似度分值：0.87

博文地址1：http://my.oschina.net/apdplat/blog/379303
博文地址2：http://yangshangchuan.iteye.com/blog/2186301

46、检查博文：APDPlat如何自动建库建表并初始化数据？，相似度分值：0.87

博文地址1：http://my.oschina.net/apdplat/blog/197703
博文地址2：http://yangshangchuan.iteye.com/blog/2012220

47、检查博文：给JAVA源代码文件统一地添加licence信息头，相似度分值：0.87

博文地址1：http://my.oschina.net/apdplat/blog/396415
博文地址2：http://yangshangchuan.iteye.com/blog/1841150

48、检查博文：Amazon Dynamo的NWR模型，相似度分值：0.85

博文地址1：http://my.oschina.net/apdplat/blog/393783
博文地址2：http://yangshangchuan.iteye.com/blog/2010574

49、检查博文：Ubuntu上安装HADOOP多机完全分布式集群，相似度分值：0.84