零基础搭建Spark环境

目的

认识Spark

基础知识

需要有一丢丢的Linux基础，至少知道名词，了解Linux基础命令
Linux常用命令：https://blog.csdn.net/qq_23329167/article/details/83856430/
本次用到了
新建文件夹：mkdir
重命名文件：mv
查看端口开通：netstat -aptn
查看7077端口状态：lsof -i:7077
关闭端口
iptables -A INPUT -p tcp --dport 7077 -j DROP
打开端口
iptables -A INPUT -p tcp --dport 7077 -j ACCEPT
然后再运行spark打开端口操作，spark可以正常 的启动。
解压文件夹：tar -zxvf 文件名

环境搭建：

安装jdk（选择第一种安装）
https://blog.csdn.net/weixin_39984161/article/details/91447727
配置JAVA_HOME
https://blog.csdn.net/zhpengfei0915/article/details/50963199

查看JAVA_HOME

JAVA_HOME路径，配置到版本文件夹层即可，如下图所示：

image.png

Spark 安装配置

https://blog.csdn.net/weixin_30883311/article/details/95363926

1：创建云服务 -Linux环境（需要开启 IPV6，因为7077启动后协议是IPV6）
2：xshell连接到服务器
3：新建文件夹 mkdir spark
4：下载spark
wget -P /spark https://mirrors.bfsu.edu.cn/apache/spark/spark-2.4.7/spark-2.4.7-bin-hadoop2.7.tgz/
即 wget -P 目录 下载地址
5：解压 tar -zxvf spark-2.4.7-bin-hadoop2.7.tgz
6：修改配置

image.png

7：启动应用：/spark/sbin/目录下：运行

./start-all.sh

正常启动界面

image.png

8：查看日志：Spark/logs/

cat spark-root-org.apache.spark.deploy.master.Master-1-spark.out

启动成功日志

遇到的坑：

1：JAVA_HOME没找到安装目录
2：修改后没生效-配置文件修改后，使生效 ：source /etc/profile
3：使用云服务，没配置网络策略（需要在主机管理-网络与安全配置策略）

云主机配置策略

4：Spark启动后，运行示例代码时，连接不到7077端口，查看7077发现是IPV6协议，重新开通主机的IPV6

连接不到7077

查看7077端口为IPV6协议