simhash原理以及用python3实现simhash算法详解（附python3源码）

1. 为什么需要Simhash?

传统相似度算法：文本相似度的计算，一般使用向量空间模型(VSM)，先对文本分词，提取特征，根据特征建立文本向量，把文本之间相似度的计算转化为特征向量距离的计算，如欧式距离、余弦夹角等。

缺点：大数据情况下复杂度会很高。

Simhash应用场景：计算大规模文本相似度，实现海量文本信息去重。

Simhash算法原理：通过hash值比较相似度，通过两个字符串计算出的hash值，进行异或操作，然后得到相差的个数，数字越大则差异越大。

Simhash的缺点：完全无关的文本正好对应成了相同的simhash，精确度并不是很高，而且simhash更适用于较长的文本，但是在大规模语料进行去重时，simhash的计算速度优势还是很不错的。

2. 文章关键词特征提取算法TD-IDF

词频（TF）：一个词语在整篇文章中出现的次数与词语总个数之比；

逆向词频（IDF)：一个词语，在所有文章中出现的频率都非常高，这个词语不具有代表性，就可以降低其作用，也就是赋予其较小的权值。

分子代表文章总数&