Hadoop Single Node Cluster的安装和配置

Hadoop Single Node Cluster的安装：
1、安装JDK

• 启动终端运行 java -version 查看当前Java版本，出现下图代表未安装
  
• 连接到APT Server， 更新软件信息

sudo apt-get update

• 安装JDK执行命令 sudo apt-get install default-jdk
  输入Y, Enter 继续执行
  
• 再次查询版本java -version
  
• 查询java安装位置：update-alternatives --display java
  

2、设置SSH无密码登录
Hadoop是由很多台服务器组成的，当启动Hadoop时，NameNode必须与DateNode连接并管理这些节点。此时系统需要用户输入密码。为了让系统顺利运行，采用SSH连接，进行无密码登录（相当于使用事先交换的SSH密钥进行身份验证）
SSH连接是目前较为可靠的，转为远程登录其他服务器提供的安全协议。通过SSH加密会对所有传输的数据进行加密，利用SSH协议可以防止远程管理系统的信息泄露问题。
设置流程如下：

• 安装SSH

sudo apt-get install ssh

• 安装rsync

sudo apt-get install rsync

• 产生SSH key(密钥) 进行后续身份验证

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

• 查看产生的密钥
  SSH key 会产生在用户的根目录下，也就是/home/user。

ll ~/.ssh

• 将产生的Key放置到许可证文件中

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3、下载安装Hadoop

• 终端输入命令：

 wget https://archive.apache.org/dist/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz

• 解压缩hadoop2.6.4
  将hadoop2.6.4文件解压缩到hadoop-2.6.4目录
  
• 将Hadoop移动到。/usr/local
  默认安装路径是/usr/local，将其移动到/usr/local/hadoop
  

4、设置Hadoop环境变量

• 编辑~/.bashrc

sudo gedit ~/.bashrc
打开编辑框后输入下列内容
#设置JDK安装路径
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
#设置HADOOP_HOME为hadoop的安装路径/usr/local/hadoop
export HADOOP_HOME=/usr/local/hadoop
#设置PATH
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
#Hadoop的其他环境变量
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
# 连接库的相关设置
export HADOOP_COMMOM_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

• 让~/.bashrc的设置生效

source ~/.bashrc

a

5、Hadoop配置文件的设置

• 设置hadoop-env.sh的配置文件

sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh
将 export JAVA_HOME=${JAVA_HOME}改为
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

• 修改core-site.xml文件

sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml
 fs.default.name</name>
 hdfs://localhost:9000</value>

• 设置YARN-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml
输入下面内容：

	yarn.nodemanager.aux-services</name>
	mapreduce_shuffle</value>
</property>

	yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
	org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

• 设置mapred-site.xml
  改文件用于设置监控Map与Reduce程序的JobTracker任务分配情况以及TaskTracker 任务运行情况。Hadoop提供了设置的模板文件，可以进行复制修改，操作如下：

# 复制模板文件：由mapred-site.xml.template至mapred-site.xml
sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml
# 编辑复制的模板文件
sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml
# 在模板文件输入以下内容

	mapreduce.framework.name</name>
	yarn</value>
</property>

• 设置hdfs-site.xml
  hdfs-site.xml用于设置HDFS分布式文件系统

sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml
#在文件输入以下内容

	dfs.replication</name>
	3</value>
</property>

	dfs.namenode.name.dir</name>
	 file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
</property>

	dfs.datanode.data.dir</name>
	 file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
</property>

6、创建并格式化HDFS目录

• 创建namenode、datanode数据存储目录

#创建namenode数据存储目录
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
#创建datanode数据存储目录
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
#将hadoop目录所有者更改为hduser
sudo chown user:user -R /usr/local/hadoop

• 格式化namenode

hadoop namenode -format

7、启动Hadoop
启动Hadoop两种方式：
分别启动HDFS、YARN，使用start-dfs.sh(启动HDFS)、start-yarn.sh(启动YARN)
同时启动HDFS、YARN，使用start-all.sh

• 启动HDFS

start-dfs.sh

• 启动yarn

start-yarn.sh

• 同时启动HDFS、Yarn

start-all.sh

• 使用jps(Java Virtual Machine Process Status Tool)查看已经启动的进程
  终端输入 jps
  

8、打开Hadoop Web界面

• 打开浏览器输入网址
  http://localhost:8088/
  

• 查看已经运行的Nodes节点
  9、NameNode HDFS Web 界面

• 打开浏览器,输入 http://localhost:50070/
  

• 查看Live Nodes
  

• 查看DataNodes