centOS 7下Hadoop伪分布式搭建

记录笔记，尝试在centOS下安装Hadoop伪分布式（之前是在Ubuntu下安装的），查漏补缺。

步骤

第一步：先把在window系统中下载好的关于Hadoop、jdk压缩包用Xftp传输到centos

名称自定义，主机我写的是IP地址，需要去centOS的终端输入ifconfig,划黄线的是IP地址 

 用户名如果在安装centos中没有创建的话，默认是root，密码是登陆密码。点击连接，弹出下面这个对话框，我选的是一次性接受（自行选择）。

 成功会亮起小绿点，然后直接把从此电脑中的目标压缩包拖拽到新建会话那边你想放的地方，能记住地址就行。这个地址建议简洁，之后的安装会出现多次。

 第二步：设置centOS的静态IP

（之前在Ubuntu安装完后Hadoop伪分布式出现了连不上网的情况，右上角的少了个有线网图标，记得多去搜索尝试，我也是试了好几种才成功。）

言归正传，在centOS的终端输入su跟换成超级用户，再输入“vi /etc/sysconfig/network-scripts/ifcfg-ens33”，回车，进入文件编辑页面，然后点击字母“i”进入插入模式，修改、添加我用荧光笔画起来的信息，IPADDR(IP地址）是主机的IP地址（ifconfig命令），GATEWAY(网关）是需要你点击编辑>>虚拟网络编辑器查看，最后按esc键，冒号加wq----->“：wq“进行保存退出。

 

设置完毕后需要输入”systemctl restart network.service"重启虚拟机的网路服务，最后输入

“ip addr"查看当前的虚拟机的IP地址。（IP地址在ens33那，认准ens33）

 第三步关闭防火墙

输入”firewall-cmd --state"检查防火墙状态，running就输入

“systemctl stop firewalld.service"命令

 第四步修改主机名

输入"vi /etc/hostname",将原来的值随意替换其他，但那个值要记得，不易复杂。

 第五步配置主机名与IP映射

输入”vi /etc/hosts",回车，增添 ”IP地址 主机名“这条。

第六步设置 SSH免密登陆 

输入“rpm -qa | grep ssh"查看是否已经安装，没有的话输入”yum-y install openssh“，成功如下图

 再输入”ssh-keygen -t rsa"生成密钥

 输入“cd ~;cd .ssh"查看已生成的密钥文件

输入”cat id_rsa.pub >> authorized_keys"把公钥（id_rsa.pub)复制到当前目录也就是.ssh目录下authorized_keys中，输入“chmod 600 authorized_keys”修改权限，最后输入“ssh 主机名”，如果不用输入密码就成功了

 第七步安装java和Hadoop运行环境

把第一步移动到centos的jdk和Hadoop压缩包解压,cd到你放压缩包的路径下，输入“tar -zxvf jdk或者hadoop-xxxxxx.tar.gz"，重新命名解压后的文件为”jdk和hadoop”，主要是为了后续敲jdk-xxxxxx.不那么费劲，输入“mv jdkxxxxx jdk"，hadoop一样的重新命名。

配置环境变量喽，输入”vi /etc/profile" ，添加我用荧光笔画起来的信息。记住，JAVA_HOME和HADOOP_HOME后面写的是你存储jdk和Hadoop的路径，不能照抄（千万别错）

 验证是否配置成功，输入”source /etc/profile" 和“java -version"、”hadoop version"，注意hadoop后面没有“-”！！！

 第八步修改Hadoop的配置文件

前提：不管处于哪个路径下，一定要cd到你存放Hadoop的路径下+etc/hadoop

（1）修改hadoop-env.sh文件，输入“vi hadoop-env.sh"，找下图这个地方

再增添荧光笔画出来的信息。把#删了，JAVA_HOME后面跟得是你储存jdk的路径！！！

（2）修改hdf-site.xml文件，输入"vi hdfs-site.xml",增添用荧光笔画起来的信息。记住，file后面跟的是你储存Hadoop的路径+tmp/dfs/name和/tmp/dfs/data

 （3）修改core-site.xml文件,输入“vi core-site.xml",增添用荧光笔画起来的信息，常年不变记得修改成自己的主机名和Hadoop途径+/tmp（4）修改mapred-site.xml,输入 “vi mapred-site.xml",增添用荧光笔画起来的信息。

（5）修改yarn-site.xml文件，输入”vi yarn-site.xml",增碳用荧光笔画起来的信息。

 最后一步启动和停止hadoop

(1)NameNode格式化，前提：输入“cd 你储存Hadoop的路径/bin”

输入"hdfs namenode -format"

我得到的结果是下图所示

 (2)启动HDFS和YARN,前提：输入“cd 你储存hadoop的路径/sbin"

用vi进入start-dfs.sh和stop-dfs.sh文件进行修改，用vi进入start-yarn.sh和stop-yarn.sh进行修改，添加的信息去这个网站查看吧(5条消息) Attempting to operate on hdfs namenode as root_子清.的博客-CSDN博客

最后输入“start-all.sh"执行完后使用”jps“命令(我这就直接全部启动了，也可以分别启动HDFS和YARN,（自行选择吧）

（3）访问Hadoop，打开浏览器，在其地址栏上输入“你的静态IP地址+：18088”，检查YARN的启动情况，成功如下图

 在地址栏上输入“http://你的静态IP地址+：50070”，检查HDFS的启动情况，成功如下图

 终于完成了~