2019-10-27

Windows环境下的Spark环境搭建

1.JDK8,SCALA-2.13.0,SPARK-2.4.4,HADOOP-2.7.0

2.环境变量,特别注意scala的classpath变量要指向BIN目录

3.在hadoop的bin目录添加winutils.exe

验证:hadoop -version   显示JDK版本 , hadoop version显示hadoop版本

            spark-shell  启动spark驱动器程序(会自动创建SparkContext对象),会显示spark版本,支持的scala版本



scala的交互式编程案例:scala>

val lines = sc.textFile("d:\\BigData\\hadoop-2.7.0\\README.tx") // windows下要双反斜杠

val countryLines = lines.filter(line => line.contains("country")) 

countryLines .first() //输出第一行包含country的文本

你可能感兴趣的:(2019-10-27)