Spark Local模式安装

Spark Local模式安装

如何安装步骤：

• 1-准备好已经编译好的spark的软件包

• 2-上传到Linux中，对应目录

• 3-解压对应压缩包

• tar -zxvf spark.tar.gz -C /export/servers
  

• 4-配置环境变量

• 当前local环境下仅仅需要配置conf/spark-env.sh

• cp spark-env.sh.template spark-env.sh
  

• 5-使用sparkshell进入交互式的环境

• 命令：

• bin/spark-shell --master local   #单机单线程方式进入环境
  

• 6-查看以下内容

7验证成功

sc.parallelize(1 to 10).collect

8实现wordcount统计

sc.textFile("file:export/datas/hello.txt").flatMap(x=>x.split(" ")).map(x=>(x,1)).reduceByKey((x,y)=>x+y)