单机模式的hadoop安装

一、安装Hadoop

1、下载hadoop安装包

1.1官网下载hadoop2.9.2版本

链接: hadoop旧版本官网下载

• 找到如下图所示：
  
• 点进去后找到如下点击下载
  
• 下载完成后如下图所示：
  

2、hadoop单机环境搭建

2.1搭建准备

• 安装好JDK并修改主机名
  

• 配置了/etc/hosts文件
  

• 安装并配置SSH免密通道
  

2.2创建安装目录

cd /opt 
cd software/ 
mkdir hadoop 
cd hadoop/ 
mkdir hdfs 
cd hdfs/ 
mkdir data 
mkdir name 
mkdir tmp

• 回到hadoop目录上传文件

cd /opt/software/hadoop/ 
rz #上传hadoop-linux-2.9.2.tar.gz  *注意直接拖入上传*

• 解压缩文件并删除压缩包

tar -xvzf hadoop-linux-2.9.2.tar.gz
rm -rf hadoop-linux-2.9.2.tar.gz

• 配置HDOOP_HOME环境变量并刷新

vim /etc/profile.d/my_env.sh
#在my_env.sh添加如下代码：

#HADOOP_HOME
export HADOOP_HOME=/opt/software/hadoop/hadoop-2.9.2
export PATH=${PATH}:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

#刷新环境变量
source /etc/profile

• 测试是否安装成功

hadoop version

2.3修改配置文件

•   /etc/hadoop-env.sh  #系统运行的环境变量
  

• /etc/hadoop-env.sh 系统运行的环境变量
  • 注意此处是修改，并非新增

cd /opt/software/hadoop/hadoop-2.9.2/etc/hadoop 
vim hadoop-env.sh 

# 修改JAVA_HOME
export JAVA_HOME=/usr/local/java/jdk1.8 

# 修改HADOOP_CONF_DIR  
export HADOOP_CONF_DIR=/opt/software/hadoop/hadoop-2.9.2/etc/hadoop 

•   **/etc/hadoop/core-site.xml hadoop核心公共参数**
  

• 修改配置
  • 在configuration配置中添加配置

cd /opt/software/hadoop/hadoop-2.9.2/etc/hadoop 
vim core-site.xml
 
<configuration> 
	<property>
		<name>fs.defaultFS</name> 
		<value>hdfs://snode03:9000</value> 
	</property> 
	<property>
		<name>hadoop.tmp.dir</name> 
		<value>/opt/software/hadoop/hdfs/tmp</value> 
	</property> 
</configuration>

•   /etc/hadoop/hdfs-site.xml hdfs
  

• /etc/hadoop/hdfs-site.xml

cd /opt/software/hadoop/hadoop-2.9.2/etc/hadoop 
vim hdfs-site.xml 

<configuration> 
	<property>
		<name>dfs.replication</name> 
		<value>1</value> 
	</property> 
	<property>
		<name>dfs.namenode.name.dir</name> 
		<value>file:/opt/software/hadoop/hdfs/name</value> 
	</property> 
	<property>
		<name>dfs.datanode.data.dir</name> 
		<value>file:/opt/software/hadoop/hdfs/data</value> 
	</property> 
</configuration> 

•   /etc/hadoop/slaves DataNode节点配置
  

cd /opt/software/hadoop/hadoop-2.9.2/etc/hadoop 
vim slaves 
snode03

3、启动hadoop

3.1 格式化文件系统

cd /opt/software/hadoop/hadoop-2.9.2/bin 
hdfs namenode -format

3.2 启动NameNode和DateNode后台进程

cd /opt/software/hadoop/hadoop-2.9.2/sbin 
start-dfs.sh

3.3 查看进程启动情况

• jps查看是否启动了NameNode、DataNode、SecondaryNameNode

jps

• 访问NameNode的web管理页面
• http://snode03:50070/