Hadoop 3.2.0 安装---安装Hadoop

1.下载最新的Hadoop安装包

https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz

2.将安装包上传到linux服务器/usr/local/software/目录下

3.切换到该目录，解压hadoop安装包

#cd/usr/local/software/

#tar -zxvf hadoop-3.2.0.tar.gz

解压成功后进行hadoop的初始化配置

4. 进行服务器及Hadoop的初始化配置

4.1修改主机名

#vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=sjd

4.2修改主机名和IP的映射关系

#vim /etc/hosts
192.168.182.128 sjd ###注意前面的IP地址为服务器的地址，可通过ifconfig查看

4.3 关闭防火墙

#systemctl status firewalld ###查看firewall服务状态

#firewall-cmd --state ###查看firewall的状态

### 开启
#service firewalld start
# ##重启
#service firewalld restart
###关闭
#service firewalld stop

4.4 配置Hadoop伪分布式需要修改5个配置文件

4.4.1配置hadoop

第一个：hadoop-env.sh
vim hadoop-env.sh
#第27行
export JAVA_HOME=/usr/java/jdk1.7.0_65

第二个：core-site.xml

fs.defaultFS hdfs://itcast01:9000 hadoop.tmp.dir /itcast/hadoop-2.4.1/tmp

第三个：hdfs-site.xml

dfs.replication 1

第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

mapreduce.framework.name yarn

第五个：yarn-site.xml

yarn.resourcemanager.hostname itcast01 yarn.nodemanager.aux-services mapreduce\_shuffle

4.4.2将hadoop添加到环境变量

#vim /etc/proflie
export HADOOP_HOME=/itcast/hadoop-3.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP\_HOME/bin:$HADOOP_HOME/sbin

#source /etc/profile

4.4.3 格式化namenode（是对namenode进行初始化）

在/usr/local/software/hadoop-3.2.0目录下创建tmp文件夹

#mkdir/usr/local/software/hadoop-3.2.0/tmp

格式化namenode
#hdfs namenode -format (hadoop namenode -format)

当执行结束后，查看打印successfully formatted 则说明格式化成功。

@@@@@@@注意@@@@@@@@

1）hadoop3.x升级jdk为1.8+所以在格式化namenode时若jdk版本不匹配则会报错

2）如果没有修改自己的IP和主机名的映射，在namenode格式化时会报错如下，需参见4.2描述中，配置本机主机名和IP映射关系。

5 启动Hadoop

按照官方文档,第一步先检查ssh能否免密登录如果不能免密登录需要执行以下命令

#ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
#cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#chmod 0600 ~/.ssh/authorized_keys

#cd/usr/local/software/hadoop-3.2.0/sbin

#./start-all.sh

这时候会发现出现如上图所示的错误，解决方法如下

在/hadoop/sbin路径下：**
将start-dfs.sh，stop-dfs.sh两个文件顶部添加以下参数！！！注意两个文件都要修改**
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

还有，start-yarn.sh，stop-yarn.sh顶部也需添加以下：！！！注意两个文件都要修改
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

修改后重启，显示如下界面

启动后输入jps命令，查看服务是否都已经启动成功，出现如下界面启动成功。

也可以通过浏览器地址验证

http://192.168.182.128:9870 （HDFS管理界面）###IP为Hadoop部署服务器的IP地址，Hadoop3中HDFS的默认端口改为9870，Hadoop2的默认端口为50070

http://192.168.182.128:8088 （RM管理界面）###IP为Hadoop部署服务器的IP地址