2018-09-10

1、搭建环境:
配置环境变量$SCALA_HOME PATH
2、环境小测试
spark-shell 窗口简单测试
必要条 件:
2.1 启动hadoop集群 start-all.sh（建议配到环境变量里面，快速启动）
2.2 启动spark集群：spark-1.5.2-bin-hadoop2.6/sbin/start-all.sh（软连接快速启动）
2.3 spark-shell --driver-class-path /root/apps/hive/lib/mysql-connector-java-5.1.28.jar

sc.textFile("/data/log.1").flatMap(.split(" ")).map((,1)).reduceByKey(+).collect
(textFile中的参数必须是hdfs路径,因为我的spark_env.sh中配置的master节点是集群)

2.4 window中简单的scala测试
val a = 1
val result = if(a>1) 3 else ()