IDEA上面书写wordcount的Scala文件具体操作

系列文章目录

 IDEA创建项目的操作步骤以及在虚拟机里面创建Scala的项目简单介绍_intellij 创建scala

目录

系列文章目录

1、编写Scala程序

2、更换pom.xml文件

3、更新Maven的依赖文件

4、执行代码即可

总结

---

前言

本文主要在上述文章的基础上编辑和创建一个WordCount应用程序

创建wordcount项目

1、编写Scala程序

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object WordCount {
  def main(args: Array[String]) {
    val inputFile =  "file:///home/hadoop/wordcount/word.txt"
    val conf = new SparkConf().setAppName("WordCount").setMaster("local")
    val sc = new SparkContext(conf)
    val textFile = sc.textFile(inputFile)
    val wordCount = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey((a, b) => a + b)
    wordCount.foreach(println)
  }
}

2、更换pom.xml文件

4.0.0
dblab
WordCount
1.0-SNAPSHOT

2.1.0
2.11



org.apache.spark
spark-core_${scala.version}
${spark.version}


org.apache.spark
spark-streaming_${scala.version}
${spark.version}


org.apache.spark
spark-sql_${scala.version}
${spark.version}


org.apache.spark
spark-hive_${scala.version}
${spark.version}


org.apache.spark
spark-mllib_${scala.version}
${spark.version}





org.scala-tools
maven-scala-plugin
2.15.2



compile
testCompile





maven-compiler-plugin
3.6.0

1.8
1.8



org.apache.maven.plugins
maven-surefire-plugin
2.19

true

3、更新Maven的依赖文件

选择任意位置设置maven 里面的generate即下面框选的内容

4、执行代码即可

可以看到上述统计出来的结果。 

总结

以上就是今天的内容~

最后欢迎大家点赞，收藏⭐，转发，
如有问题、建议，请您在评论区留言哦。