Hadoop环境搭建
目录
零、码仙励志
一、百度云下载需要的软件
二、安装VM
三、VM网络设置
四、安装CentOS7
五、master网络配置
六、从master克隆slave0和slave1
七、slave0和slave1网络配置
八、同步时间
九、Xshell5的安装与使用
1.Xshell5的作用
2.Xshell5的安装
3.Xshell5的使用
十、Xftp5的安装与使用
1.Xftp5的作用
2.Xftp5的安装
3.Xftp5的使用
十一、关闭防火墙
十二、设置主机名
十三、hosts设置
十四、免密钥登陆配置
十五、安装JDK
十六、Hadoop安装与环境配置
1.配置hadoop-env.sh
2.配置core-site.xml
3.配置hdfs-site.xml
4.配置yarn-site.xml
5.配置mapred-site.xml
6.配置slaves
7.配置Hadoop环境变量
8.新建Hadoop运行时产生文件的储存目录
9.给slave0和slave1复制Hadoop
10.格式化文件系统
11.启动Hadoop
12.关闭Hadoop
零、码仙励志
如果决意去做一件事，就不要问自己和别人值不值得，心甘情愿才能理所当然，理所当然才能义无反顾
一、百度云下载需要的软件
如果下面链接失效请给我留言或者加QQ194760901找我索要
链接:https://pan.baidu.com/s/10d75cEXkAWhS23mArlQaMg 提取码:lxx3
下载好以后里面有如下软件
二、安装VM
直接双击就可以
安装位置你开心就好，我这里是默认的
把下面的密钥或者百度云下载VMware-key文件中的内容输入进去
5A02H-AU243-TZJ49-GTC7K-3C61N
到这里VM就安装完成了
三、VM网络设置
首先打开控制面板
双击下面我选中的内容
给我选中的内容打勾并且双击
然后按照我下面的配置来操作
接下来打开VM虚拟机
按照我标的序号来
到这里VM网络就设置好了
四、安装CentOS7
把虚拟机名称改为master，安装位置你开心就好
按照我的配置来，把多余的移除了，这样可以保证虚拟机运行的速度
然后等待就好了，时间有点长
不要动，继续等待
设置为中文，你要是会其他语言当我没说
你可以从这里选择安装图形用户界面，我没选
这俩个都需要设置，设置完一定要记住
设置好就等待吧，时间有点长，不对，是超级长
然后重启
输入用户名和密码登陆
出来这个就成功了
五、master网络配置
登陆成功直接输入下面命令然后回车会出现下面内容
vi /etc/sysconfig/network-scripts/ifcfg-ens33
然后把里面的内容修改成下面的内容
按键盘i可以修改，修改好以后先按键盘Esc键，然后使用组合键Shift+: 最后输入wq然后回车就修改好了
如果看不清上面的看下面的
然后输入下面的内容重启网路
service network restart
出现上面的内容说明重启成功
然后ping一下自己的ip
ping 192.168.56.110出现下面内容就说明成功了
这时你会发现虚拟机就跟喝了脉动似的，根本停不下来，其实按Ctrl+c就可以停下来了
然后输入shutdown now关机为下一步做准备
六、从master克隆slave0和slave1
把虚拟机名称修改为slave0，位置你开心就好
这样slave0就复制好了，接下来用同样的方法复制slave1，这里我就不在演示了
七、slave0和slave1网络配置
首先打开slave0，然后登陆，密码和master一样
登陆成功直接输入下面命令然后回车会出现下面内容
vi /etc/sysconfig/network-scripts/ifcfg-ens33
然后把红色标记的地方修改成192.168.56.111，其余地方不修改
这样slave0就配置好了，用同样的方法配置slave1，把红色标记的地方修改成192.168.56.112
八、同步时间
首先先把三台虚拟机关机
这样一台的就设置好了，另外俩台类似，我这里就不再演示
九、Xshell5的安装与使用
1.Xshell5的作用
可以同时连接多台服务器，将多台服务器连接在一台机器上操作，这样就不用在每台服务器上进行操作，方便远程操作服务器；主要是对服务器进行命令操作
2.Xshell5的安装
直接双击
安装位置你开心就好
到这里就安装成功了
3.Xshell5的使用
名称随意，不过最好有意义；主机输入端口号
注意：链接之前记得把虚拟机开机
链接时需要输入用户名和密码，出现下面的内容就成功了
另外俩台操作一样，我这里不在演示
十、Xftp5的安装与使用
1.Xftp5的作用
可以同时连接多台服务器，将多台服务器连接在一台机器上操作，这样就不用在每台服务器上进行操作，方便远程操作服务器；主要是对服务器进行文件传输操作
2.Xftp5的安装
直接双击
安装位置你开心就好
到这里就安装成功了
3.Xftp5的使用
配置完下面的不要点确定，点选项
出现下面内容就说明成功了
另外俩台操作类似，我这里就不演示了
十一、关闭防火墙
首先打开并登陆master服务器
先查看防火墙状态
systemctl status firewalld.service我标记的内容说明防火墙此时是开启状态
关闭防火墙
systemctl stop firewalld.service该命令输入和执行后，终端不会有输出，要检查是否执行成功，可以再查看一次防火墙状态
出现我标记的内容说明关闭防火墙成功了
但是重启服务器时防火墙还会启动，所以还需要输入下面命令，防止重启服务器防火墙启动
systemctl disable firewalld.service
这样master的防火墙就关闭成功了，另外俩台也一样，我这里不做演示
十二、设置主机名
先在master服务器上操作’，输入下面命令
vi /etc/sysconfig/network修改成下面的内容
如果看不清上面请看下面
记得要把原来的内容删除掉
然后重新启动该主机，就会发现主机名被修改了
十三、hosts设置
十四、免密钥登陆配置
首先在master服务器输入下面命令
ssh-keygen -t rsa然后按四次回车，出现下面内容
然后输入下面命令进入ssh文件夹
cd ~/.ssh输入下面命令可以看文件夹里面的内容
ls -l
然后输入下面命令把公钥文件发送到自己和其它服务器
发送给自己
ssh-copy-id -i id_rsa.pub root@master输入yes
输入密码
成功后出现下面内容
然后再分别发送给slave0和slave1
验证是否成功
在master服务器输入下面的命令，都不需要输入密码，就说明成功了,注意每执行完一条命令都用exit退出一下再执行下一条
ssh master
ssh slave0
ssh slave1十五、安装JDK
首先在master服务器的usr/local目录下新建一个java文件夹，用下面命令就可以完成
mkdir /usr/local/java然后用Xftp连接master服务器，打开usr/local/java这个目录，把jdk-8u162-linux-x64.tar复制进去
接着用下面的命令进入到该目录
cd /usr/local/java接着用下面的命令进行解压
tar -zxvf jdk-8u162-linux-x64.tar.gz然后就解压好了
接下来开始配置环境变量，先用cd命令回到总目录
输入下面命令开始配置
vi /root/.bash_profile按照我的配置来
看不清上面看下面
然后保存退出输入下面内容使环境变量生效
source /root/.bash_profile然后输入java、javac和java -version验证，如果都出现一大堆代码说明配置成功了，如果其中有一个或多个出现不是内部或外部命令，也不是可运行的程序或批处理文件等类似语句，就说明配置失败了，需要重新配置jdk环境
这样就安装好master服务器的jdk了，但是还没有安装好slave0和slave1的jdk,我们可以用下面命令把master中的jdk复制到slave0上面
scp -r /usr/local/java root@slave0:/usr/local
这时已经把jdk复制到slave0了，但是slave0的环境变量还没有配置，我们同样可以使用下面命令来复制环境变量
scp -r /root/.bash_profile root@slave0:/root
然后在slave0中输入下面内容使环境变量生效
source /root/.bash_profile这样 slave0中的jdk就安装成功了，slave1，与slave0类似，这里不做演示
十六、Hadoop安装与环境配置
先用下面的命令给opt文件夹中新建一个hapoop文件夹
mkdir /opt/hadoop
然后把hadoop-2.7.5复制到hadoop文件夹中
使用下面命令进入到hadoop文件夹
cd /opt/hadoop使用下面命令把hadoop-2.7.5进行解压
tar -zxvf hadoop-2.7.5.tar.gz
使用下面命令把hadoop-2.7.5文件夹重命名成hadoop
mv hadoop-2.7.5 hadoop
1.配置hadoop-env.sh
该文件设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的，即使我们当前的系统设置了JAVA_HOME，它也是不认识的，因为Hadoop即使是在本机上执行，它也是把当前执行的环境当成远程服务器。所以这里设置的目的是确保Hadoop能正确的找到jdk。
先用cd回到主目录
然后输入下面命令进入该文件所在的文件夹
cd /opt/hadoop/hadoop/etc/hadoop
用ls就可以看到该文件
然后输入下面命令打开该文件
vi hadoop-env.sh然后修改成下面的内容
export JAVA_HOME=/usr/local/java/jdk1.8.0_162/
2.配置core-site.xml
core-site.xm所在的目录和上面的目录一样，所以直接使用下面命令打开该文件即可
vi core-site.xml
接着把下面命令写入
fs.defaultFS
hdfs://master:9000
hadoop.tmp.dir
/opt/hadoop/hadoopdata
3.配置hdfs-site.xml
hdfs-site.xml所在的目录和上面的目录一样，所以直接使用下面命令打开该文件即可
vi hdfs-site.xml
接着把下面命令写入
dfs.replication
1
4.配置yarn-site.xml
yarn-site.xml所在的目录和上面的目录一样，所以直接使用下面命令打开该文件即可
vi yarn-site.xml
接着把下面命令写入
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.address
master:18040
yarn.resourcemanager.scheduler.address
master:18030
yarn.resourcemanager.resource-tracker.address
master:18025
yarn.resourcemanager.admin.address
master:18141
yarn.resourcemanager.webapp.address
master:18088
5.配置mapred-site.xml
还是在/opt/hadoop/hadoop/etc/hadoop目录下(也就是上个文件所在的目录)，有一个叫 mapred-site.xml.template的文件，把它复制到/opt/hadoop/hadoop/etc/hadoop目录下(也就是mapred-queues.xml.template文件所在的目录)重命名为mapred-site.xml，命令如下
mv mapred-site.xml.template mapred-site.xml然后用下面命令打开该文件
vi mapred-site.xml
接着把下面命令写入
mapreduce.framework.name
yarn
6.配置slaves
slaves所在的目录和上面的目录一样，所以直接使用下面命令打开该文件即可
vi slaves
先把localhost这行删除，然后把下面代码写进去
master
slave0
slave1
7.配置Hadoop环境变量
先用cd命令回到总目录
输入下面命令开始配置
vi /root/.bash_profile
把下面命令输入进去
export HADOOP_HOME=/opt/hadoop/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
然后保存退出输入下面内容使环境变量生效
source /root/.bash_profile8.新建Hadoop运行时产生文件的储存目录
先用cd命令回到总目录
接着用下面命令新建目录
mkdir /opt/hadoop/hadoopdata9.给slave0和slave1复制Hadoop
用下面命令就可以把master的Hadoop复制到slave0上
scp -r /opt/hadoop root@slave0:/opt用下面命令把master的Hadoop复制到slave1上
scp -r /opt/hadoop root@slave1:/opt接着用下面命令把master的环境变量复制到slave0上
scp -r /root/.bash_profile root@slave0:/root然后在slave0中输入下面内容使环境变量生效
source /root/.bash_profileslave1与slave0类似，这里不做演示
10.格式化文件系统
在master中输入下面命令格式化文件系统，其余俩台服务器不用，注意该命令只能使用一次
hadoop namenode -format11.启动Hadoop
在master服务器上，先用下面命令进入Hadoop的sbin目录
cd /opt/hadoop/hadoop/sbin然后输入下面命令启动
start-all.sh
在三台服务器分别输入jps可以判断是否启动成功，出现下面内容说明成功
12.关闭Hadoop
只需要在master服务器输入下面命令即可
stop-all.sh