Hadoop伪分布式模式的安装与配置

一、伪分布式模式安装介绍

    那么伪分布式就是假分布式，假在哪里，假就假在他只有一台机器而不是多台机器来完成一个任务，但是他模拟了分布式的这个过程，所以伪分布式下Hadoop 也就是你在一个机器上配置了hadoop的所有节点。
特点：在单机上，模拟一个分布式的环境，具备Hadoop的所有功能
HDFS：NameNode + DataNode + SecondaryNameNode
Yarn：ResourceManager + NodeManager
虚拟机名字：HP110
用户是：root

---

二、关闭防火墙

这是CentOS7版本命令：
systemctl status firewalld.service  -->查看防火墙状态
systemctl stop firewalld.service ---> 如果重启，会重启防火墙
systemctl disable firewalld.service ---> 永久关闭防火墙

注意：版本不同关闭防火墙命令也不同，下面是我们使用的CentOS6.5版本命令：
service iptables status -->查看防火墙状态
service iptables stop ---> 如果重启，会重启防火墙
chkconfig iptables off  ---> 永久关闭防火墙

---

三、修改主机名和IP

 1.查看主机名：hostname
    临时修改hostname 命令是：hostname  名字
    永久修改hostname
    修改配置文件 /etc/sysconfig/network。
    命令：[root@HP110 tools]# vi /etc/hostname
    HP110 #设置的主机名
    或者[root@HP110hadoop]# hostnamectl set-hostname 名字
    
    centos7之前的版本请用此方法:
    vi /etc/sysconfig/network
    NETWORKING=yes
    HOSTNAME=centos6
    :wq #保存并退出 
   不过永久修改hostname需要重启后生效。
 2.修改IP
    [root@HP110 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33 
    TYPE=Ethernet
    PROXY_METHOD=none
    BROWSER_ONLY=no
    BOOTPROTO=static        #设置成静态IP
    DEFROUTE=yes
    IPV4_FAILURE_FATAL=no
    IPV6INIT=yes
    IPV6_AUTOCONF=yes
    IPV6_DEFROUTE=yes
    IPV6_FAILURE_FATAL=no
    IPV6_ADDR_GEN_MODE=stable-privacy
    NAME=ens33
    UUID=4c6356d3-01cd-44ac-9e6f-67afa7f9b847
    DEVICE=ens33
    ONBOOT=yes    #开机默认开启网络
    IPADDR=192.168.231.110     #IP地址
    GATEWAY=192.168.231.2    #网关
    DNS1=8.8.8.8     #域名解析国内
    DNS2=114.114.114.114      #域名解析国外
    PREFIX=24
    IPV6_PRIVACY=no

然后让修改IP生效：[root@HP110 ~]# service network restart 

---

四、配置主机名和IP的对应关系

编辑配置文件 vi /etc/hosts
192.168.231.110   bigdata111

---

五、mkdir 创建目录

---

-p 父目录不存在情况下先生成父目录
约定： mkdir /opt/software(安装包目录)
mkdir  /opt/module (软件目录)

---

六、安装并配置Hadoop和JDK环境变量

（1）使用tar命令解压
tar  -zxvf jdk-8u191-linux-x64.tar.gz -C /opt/module
tar  -zxvf hadoop-2.8.5.tar.gz -C  /opt/module

（2）设置JAVA环境变量：vi  /etc/profile 
JAVA_HOME=/opt/module/jdk1.8.0_191
export JAVA_HOME
PATH=$JAVA_HOME/bin:$PATH
export PATH
生效环境变量 source  /etc/profile 

（3）设置Hadoop的环境变量: vi  /etc/profile 
HADOOP_HOME=/opt/module/hadoop-2.8.5
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH
生效环境变量 source  /etc/profile 

注意linux环境变量和Windows的环境变量一样，分系统环境变量和用户环境变量，系统环境变量对所有用户有效，而用户环境变量只对当前用户有效。
系统环境变量配置：vi  /etc/profile    保存后执行source /etc/profile立即生效
用户环境变量配置：vi  ~/ .bash_profile  保存后执行 source ~/.bash_profile立即生效
如果既配置了系统环境变量，又配置了用户环境变量，最终会以用户环境变量的配置为准。

---

七、修改hadoop文件

进入到 hadoop-2.7.3/etc/hadoop/ 目录下，例如：cd /opt/module/hadoop-2.7.3/etc/hadoop
vi hadoop-env.sh 把 JAVA_HOME 改为本地配置的 JDK 路径 即可
在25行设置： export JAVA_HOME=/opt/module/jdk1.8.0_191

vi core-site.xml


	
		fs.defaultFS
		hdfs://HP110:9000
	
    


	
		hadoop.tmp.dir
		/opt/module/hadoop-2.7.3/data/tmp
	
	

	
		fs.trash.interval
		10080
	


	
		hadoop.http.staticuser.user
		root
	


vi hdfs-site.xml


	
		dfs.replication
		1
	
    



    
vi mapred-site.xml 注意：默认没有所以复制一个 cp mapred-site.xml.template mapred-site.xml

	
		mapreduce.framework.name
		yarn
	
    
vi yarn-site.xml

	
		yarn.resourcemanager.hostname
		HP110
	
    

	
		yarn.nodemanager.aux-services
		mapreduce_shuffle
	
    
vi slaves 配置从节点地址
HP110(主节点可以不添加)


*配置历史服务器（选择配置）
为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：
1.配置mapred-site.xml
在该文件里面增加如下配置。

	
		mapreduce.jobhistory.address
		HP110:10020
	

	
		mapreduce.jobhistory.webapp.address
		HP110:19888
	
2.启动历史服务器
[root@HP110 ~]# sbin/mr-jobhistory-daemon.sh start historyserver
3.查看历史服务器是否启动
[root@HP110 ~]# jps
4.查看JobHistory
http://HP110:19888/jobhistory
 
   
*配置日志的聚集（选择配置）
日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。
开启日志聚集功能具体步骤如下：
1.配置yarn-site.xml
在该文件里面增加如下配置。

	
		yarn.log-aggregation-enable
		true
	
   

	
		yarn.log-aggregation.retain-seconds
		604800
    
   
   2.查看日志
   http://HP110:19888/jobhistory

---

八、对HDFS的NameNode进行格式化 -----> 目录：/root/software/hadoop-2.8.5/tmp

举例：软盘，需要格式化
命令：hdfs namenode -format
日志：Storage directory /root/software/hadoop-2.8.5/tmp/dfs/name has been successfully formatted.表示格式成功
注意：重复格式化namenode之前需要删除数据tmp和日志logs

---

九、启动

HDFS启动：start-dfs.sh
Yarn启动: start-yarn.sh
全部启动：start-all.sh
注意：启动完成后需要输入密码，因为没有实现免密登录

---

十、实现免密登录

由于每次启动关闭都要输出密码就显得很麻烦，所以就先实现免密登录吧
生成公钥命令：输入ssh-keygen -t rsa 然后按三次回车

然后把公钥给自己：ssh-copy-id -i .ssh/id_rsa.pub root@HP110

---

十一、Web Console访问

hdfs: 端口: 50070
yarn: 端口：8088
注意：如果配置文件没有错误访问失败一般是防火墙没有关闭。