如何查看spark版本和scala版本

1.进入命令行状态
windows 电脑
方法一:
在系统桌面左下侧搜索栏输入CMD或者命令提示符,右键点击命令提示符在右键菜单中点击:以管理员身份运行,可以打开系统【管理员命令提示符】窗口。

苹果电脑: 打开终端
在 Mac 上打开 Finder 窗口,然后在「应用程序」目录中直接搜索“终端”关键字,也可以搜索到;

2.在命令行窗口输入,然后回车 java -version,确认你的java 环境是java8,如果不是请切换到java8
$ java -version
java version “11” 2018-09-25
Java™ SE Runtime Environment 18.9 (build 11+28)
Java HotSpot™ 64-Bit Server VM 18.9 (build 11+28, mixed mode)
我的是Java11 和java8的同时安装的。

切换后变成:
java version “1.8.0_181”
Java™ SE Runtime Environment (build 1.8.0_181-b13)
Java HotSpot™ 64-Bit Server VM (build 25.181-b13, mixed mode)

$ which java #可以查看Java 所在目录
/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/bin/java

  1. $ spark-shell如何查看spark版本和scala版本_第1张图片

纯文字输出如下:
2018-11-21 05:42:19 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
Setting default log level to “WARN”.
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
2018-11-21 05:42:25 WARN Utils:66 - Service ‘SparkUI’ could not bind on port 4040. Attempting port 4041.
Spark context Web UI available at http://192.168.5.105:4041
Spark context available as ‘sc’ (master = local[*], app id = local-1542750145331).
Spark session available as ‘spark’.
Welcome to
____ __
/ / ___ / /
\ / _ / _ `/ __/ '/
/
/ .__/_,// //_\ version 2.4.0
/
/

Using Scala version 2.11.12 (Java HotSpot™ 64-Bit Server VM, Java 1.8.0_181)
Type in expressions to have them evaluated.
Type :help for more information.如何查看spark版本和scala版本_第2张图片

  1. 有一点要特别注意的是: spark 所在机器安装的scala 版本不一定和spark 安装包自带的scala版本一致。比如我的电脑安装的是 Scala 2.12.6,但是spark 自带的 Scala版本是2.11.12。 如下信息所提示.
    $ scala
    Welcome to Scala 2.12.6 (Java HotSpot™ 64-Bit Server VM, Java 1.8.0_181).
    Type in expressions for evaluation. Or try :help.

你可能感兴趣的:(常见IT基础,Spark,大数据,经验分享)