Spark-2.2.0安装和部署(分布式集群搭建,亲测可用)

转载好文章(安装spark集群的前提一定要安装scala):https://blog.csdn.net/weixin_36394852/article/details/76030317

注意:此命令只复制文件夹 目录下的内容,不直接将目录及内容复制到其他主机

rsync -av /usr/scala-2.11.7/ SparkWorker2:/usr/scala-2.11.7/

scp命令是可以将目录及目录下的内容都复制过去的。

 

配合zookeeper的高可用spark分布式集群(亲测可用):

https://blog.csdn.net/nuc2015/article/details/81913293

Spark启动命令是和hadoop的启动命令一样:

切到spark-2.2.0目录下:

sbin/start-all.sh

Spark-2.2.0安装和部署(分布式集群搭建,亲测可用)_第1张图片

进入spark-shell命令:

Spark-2.2.0安装和部署(分布式集群搭建,亲测可用)_第2张图片

Scala退出shell窗口:

命令:   

:q

 

你可能感兴趣的:(大数据)