Scala +Spark+Hadoop+Zookeeper+IDEA实现WordCount单词计数（简单实例-上）

                 IDEA+Scala +Spark实现wordCount单词计数-上

一、新建一个Scala的object单例对象，修改pom文件

（1）下面文章可以帮助参考安装 IDEA 和 新建一个Scala程序。

• IntelliJ IDEA（最新）安装-破解详解--亲测可用
• Intellij IDEA+Maven+Scala第一个程序

（2）pom文件

    4.0.0

    com.mcb.scala02
    scala02
    1.0-SNAPSHOT

    
        1.8
        1.8
        UTF-8
        2.10.5
        1.6.3
        2.7.5
    
    
        
            org.scala-lang
            scala-library
            ${scala.version}
        
        
            org.apache.spark
            spark-core_2.10
            ${spark.version}
        
        
            org.apache.hadoop
            hadoop-client
            ${hadoop.version}
        
    
    
        src/main/scala
        src/test/scala
        
            
                net.alchim31.maven
                scala-maven-plugin
                3.2.0
                
                    
                        
                            compile
                            testCompile
                        
                        
                            
                                -make:transitive
                                -dependencyfile
                                ${project.build.directory}/.scala_dependencies
                            
                        
                    
                
            
            
                org.apache.maven.plugins
                maven-surefire-plugin
                2.18.1
                
                    false
                    true
                    
                        **/*Test.*
                        **/*Suite.*
                    
                
            

            
                org.apache.maven.plugins
                maven-shade-plugin
                2.3
                
                    
                        package
                        
                            shade
                        
                        
                            
                                
                                    *:*
                                    
                                        META-INF/*.SF
                                        META-INF/*.DSA
                                        META-INF/*.RSA
                                    
                                
                            
                            
                                
                                    day05.SparkWordCount
                                
                            
                        
                    
                
            
        
    

二、Scala 代码

package day05

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

import scala.collection.mutable

object SparkWordCount {

  def main(args: Array[String]): Unit = {
    //配置信息类
    //1，setAppName(任务名称) setMaster(表示开启多少个线程运行)
    val conf: SparkConf = new SparkConf().setAppName("SparkWordCount").setMaster("local[*]")

    //上下文对象
    val sc: SparkContext = new SparkContext(conf)

    //读取数据(数据通过数组 args进入)
    val lines: RDD[String] = sc.textFile(args(0))

    //处理数据
    val map01: RDD[(String, Int)] = lines.flatMap(_.split(" ")).map((_,1))
    val wordCount: RDD[(String, Int)] = map01.reduceByKey(_+_).sortBy(_._2,false)

    val wcToBuffer: mutable.Buffer[(String, Int)] = wordCount.collect().toBuffer
    println(wcToBuffer)

    sc.stop()
  }
}

三、在服务器上面启动Hadoop的hdfs和spark（我这儿启动的hdfs的高可用）

文章链接点击：

（1）分布式系统详解--框架（Hadoop-HDFS的HA搭建及测试）

（2）Spark-集群安装、部署、启动、测试（1.6.3）稳定版

3.1 查看Jps（三台，其中centos01 为namenode，centos02是namenode，MyLinux是datanode）

3.2 web ui看一下hdfs 内部文件

（1）web ui 显示图

（2）查看文件内容（三个文件均问以空格分割的单词。）

3.3 IDEA 配置（传参args）

（1）点击 右上角Edit Configurations

（2）添加application，名称叫做SparkWordCount

3.4 运行结果（读取并运行成功）~~~

完美~~

欢迎订阅关注公众号（JAVA和人工智能）

                                                           获取更多免费书籍、资源、视频资料

         

文章超级链接：

 1，分布式系统详解--基础知识（概论）

 2，分布式系统详解--基础知识（线程）

 3，IDEA和Eclipse的比较

 4，IntelliJ IDEA（最新）安装-破解详解--亲测可用

 5，scala-构造器-辅助构造器-伴生对象-单例对象

 6，【由浅入深】爬虫技术，值得收藏，来了解一下~

 7，Scala-Actor简介并实现WordCount实例

 8，Akka 简介及简单原理

 9，Scala+Spark+Hadoop+IDEA实现WordCount单词计数，上传并执行任务（简单实例-下）