【大数据技术】Spark MLlib机器学习特征抽取 TF-IDF统计词频实战（附源码和数据集）

需要源码和数据集请点赞关注收藏后评论区留言私信~~~

特征抽取 TF-IDF

TF-IDF是两个统计量的乘积，即词频（Term Frequency， TF）和逆向文档频率（Inverse Document Frequency， IDF）。它们各自有不同的计算方法。

TF是一个文档（去除停用词之后）中某个词出现的次数。它用来度量词对文档的重要程度，TF越大，该词在文档中就越重要。IDF逆向文档频率，是指文档集合中的总文档数除以含有该词的文档数，再取以10为底的对数。

TF-IDF的主要思想是如果某个词或短语在一篇文章中出现的概率高，并且在其他文章中很少出现，则认为这个词或者短语具有很好的类别区分能力

具体实现步骤如下

（1）新建MAVEN项目，名称为spark-mlllib

（2）数据准备。新建一个文本文件，包含四行数据，内容如下：

hello mllib hello spark
goodBye spark
hello spark
goodBye spark

（3）新建Scala类，功能是计算单词的TF –IDF

创建TF计算实例

val hashingTF = new HashingTF()

//计算文档TF值

  val tf = hashingTF.transform(documents).cache()
    println("计算单词出现的次数结果为:")
    tf.foreach(println)

//创建IDF实例并计算

val idf = new IDF().fit(tf)

//计算TF_IDF词频

val tf_idfRDD: RDD[linalg.Vector] = idf.transform(tf) 

统计结果如下

 部分代码如下

package com.etc
import org.apache.spark.mllib.feature.{HashingTF, IDF}
import org.apache.spark.mllib.linalg
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object TF_IDF {
  def main(args: Array[String]) {
    //创建环境变量
    val conf = new SparkConf()
      //设置本地化处理
      .setMaster("local")
      //设定名称
      .setAppName("TF_IDF") //设定名称
    val sc = new SparkContext(conf)
    //设置日志级别
    sc.setLogLevel("error")
    //读取数据并将句子分割成单词
    val documents = sc.textFile("a.txt")
      .map(_.split(" ").toSeq)
    println("分词的结果为:")
    documents.foreach(println)
    //创建TF计算实例
    val hashingTF = new HashingTF()

    //计算文档TF值
    val tf = hashingTF.transform(documents).cache()
    println("计算单词出现的次数结果为:")
    tf.foreach(println)
    //创建IDF实例并计算
    val idf = new IDF().fit(tf)
    //计算TF_IDF词频
    val tf_idfRDD: RDD[linalg.Vector] = idf.transform(tf) //计算TF_IDF词频
    println("计算TF_IDF值:")
     tf_idfRDD.foreach(println)


  }
}

创作不易 觉得有帮助请点赞关注收藏~~~