PySpark MLlib HashingTF源码分析

在处理文本数据，尤其是自然语言处理的场景中，hashingTF使用的比较多。Mllib使用hashing trick实现词频。元素的特征（即词）应用一个hash函数映射到一个索引，通过这个索引计算词频。这个方法避免计算全局的词-索引映射，因为全局的词-索引映射在大规模语料中花费较大。

    def __init__(self, numFeatures=1 << 20):
        self.numFeatures = numFeatures
        self.binary = False

在HashingTF类中，有两个重要的属性，numsFeatures和binary。numsFeatures决定了hashingTF中能表征的特征个数，默认为2^20。binary则是一个开关用来控制是否记录词频，如果设置为true则只记录是否存在。

    @since('1.2.0')
    def indexOf(self, term):
        """ Returns the index of the input term. """
        return hash(term) % self.numFeatures

indexOf是计算索引的重要方法，它使用了python的hash函数来计算hash值，然后通过取余保证特征的索引在numFeatures的范围内。那么问题是我这个版本（pyspark2.4.6）选择了内置的hash函数而不是hashlib来计算hash值，这样会造成不同python解释器的计算结果不一样，导致同一段文本在不同进程中计算出不同的词频向量。这也是为什么在使用开源框架前要阅读源码的原因，如果我们要在分布式系统中使用HashingTF应该按使用情况重写这个方法。

    @since('1.2.0')
    def transform(self, document):

        if isinstance(document, RDD):
            return document.map(self.transform)

        freq = {}
        for term in document:
            i = self.indexOf(term)
            freq[i] = 1.0 if self.binary else freq.get(i, 0) + 1.0
        return Vectors.sparse(self.numFeatures, freq.items())

transform方法首先判断一下输入类型是否是RDD类，如果是则执行transform函数进行map映射。transform的流程是构建一个索引-词频的字典，然后用稀疏向量返回结果。

    hashingTF = HashingTF()
    tf = hashingTF.transform(words)
    tf.cache()

上面是HashingTF的简单使用示例。