Hadoop(centos)伪分布＋Hbase详细配置过程

1.1网络配置(建议用管理员权限启动虚拟机,防止出现权限不足或者lock等问题)

1.11打开虚拟机点击安装好的centos系统

 1.12点击虚拟机的编辑后选择虚拟网络编辑器

1.13点击VMnet8

1.14点击NAT设置并关闭

 

1.15查看网关IP并记住(我这边是192.168.138.2）

 

1.16打开主机网络点击更改设备选择器

 

 1.17点击VMnet8后右键点击属性

 1.18选择Internet协议版本4(TPC/IPv4)

1.19 IP、网关配置(配置完网络环境后千万不要去共享网络不然xshell和xftp到时候连接不上虚拟机系统。)

 1.2启动centos系统，进行centos网络配置

1.21右键桌面打开终端，输入su指令按Enter键后输入密码进入root用户(为了更好的完成下面配置)

 

1.22进入网络配置文件

vim /etc/sysconfig/network-scripts/ifcfg-ens33

把BOOTPROTO修改为static    ONBOOT修改为yes

添加(IPADDR前三位要跟虚拟机网关一致,NETMASK跟主机网络配置一致,GATEWAY,DNS1填写虚拟机网关，如果不配做DNS1会出现ping不通域名)

这里以虚拟网关为192.168.138.2为例子进行配置，每台机的虚拟机网关都不一样，请勿完全照搬!

IPADDR=192.168.138.91     

NETMASK=255.255.255.0     

GATEWAY=192.168.138.2     

DNS1=192.168.138.2

配置完后重启网络

重启网络

service network restart

1.23测试网络(先把防火墙关了)

关闭防火墙命令

systemctl stop firewalld.service

开启防火墙

systemctl start firewalld.service

关闭开机自启动

systemctl disable firewalld.service

开启开机启动

systemctl enable firewalld.service

查看防火墙状态

systemctl status firewalld.service

测试

ping www.baidu.com

使用Ctrl＋Z停止ping百度

主机ping虚拟机(如果ping不通很大可能是虚拟机防火墙未关闭)

 虚拟机ping主机(如果ping不通主机IP很大可能是主机防火墙未关闭)

 使用Ctrl＋Z停止ping主机IP

1.24解决虚拟机ping不通主机IP方法

打开主机网络打开防火墙选择高级设置点击入站规则点击按配置文件筛选后选择按公用配置文件筛选找到(回显请求 – ICMPv4-In)改为允许。

 

 

 2.1hadoop集群搭建(建议用管理员权限启动虚拟机,防止出现权限不足或者lock等问题,在配置hadoop集群过程中建议切换到root用户下进行配置)

2.11修改主机名(这里修改为node1)

hostnamectl set-hostname node1

查看主机名

hostname

配置主机名(如果忘记主机IP可以用ifconfig命令来查询)

vim /etc/hosts 

免密码登录配置

执行

ssh-keygen -t rsa

按三次Enter键如果中途出现选择请选择yes

 公钥追加到~/.ssh/authorized_keys文件中

ssh-copy-id -i  ~/.ssh/id_rsa.pub  主机名(如上面都node1)

测试免密码登录：

ssh node1

 2.12.准备好以下这个压缩包(百度网盘提取码1221)

压缩包下载链接

3.1安装jdk

3.11卸载原先的java jdk

rpm -qa | grep java

根据显存版本进行卸载操作

rpm -e --nodeps java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64

3.12安装jdk

将jdk压缩包拷贝到虚拟机系统的一个目录上(这里拷贝到/usr/java下，一般来说usr目录下是没有java文件夹需要自己创建一个 (mkdir java))

在java目录下进行解压压缩包

tar -zxvf 压缩包名称

修改配置文件 

vim ~/.bashrc

在文件的最后添加下面的jdk信息

export JAVA_HOME=centos系统中的jdk路径

export CLASSPATH=$JAVA_HOME/lib/

export PATH=$PATH:$JAVA_HOME/bin

export PATH JAVA_HOME CLASSPATH

配置完成后执行下面代码使环境变量生效

source ~/.bashrc

查看java版本 

java -version

3.13hadoop安装

进入hadoop压缩包目录

解压hadoop压缩包

tar -zxvf 压缩包名

可创建文件软链接，简化配置

ln -s 解压后文件名 hadoop

配置环境变量

vim ~/.bashrc

在文件的最后添加下面的hadoop信息

export HADOOP_HOME=hadoop路径
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

配置完成后执行下面代码使环境变量生效

source ~/.bashrc

总共要修改的配置文件全部都在hadoop/etc/hadoop目录下，其中hdfs-site.xml这个文件需要设置3个目录来存放一些hadoop运行过程中的临时数据，也就是在hadoop目录下(不是在etc目录下的hadoop目录)，创建一个dfs和tmp，再在dfs目录下创建name和data目录。hadoop的八个配置文件中，有3个配置文件只需要修改jdk路径。分别是hadoop-env.sh，yarn-env.sh，mapred-env.sh。找到 export JAVA_HOME=  ， 等号后面改成centos系统中的jdk路径 即可。   当然，如果前面有#注释，可以把注释去掉（一般都没有注释）。

进入hadoop/etc/hadoop目录

3.131core-site.xml配置

执行

vim core-site.xml

         
  
           
 
                  fs.defaultFS
 
                  hdfs://node1:9000
  
         
  
         
  
          
  
                  io.file.buffer.size
  
                  131072
  
         
  
         
  
                 hadoop.tmp.dir
  
                 file:hadoop中tmp文件夹路径
  
                 Abase for other temporary   directories.
  
         
  

3.132hdfs-site.xml配置

执行

vim hdfs-site.xml

         
  
                 dfs.namenode.secondary.http-address
  
                 node1:9001
  
         
  
         
  
   
  
               dfs.namenode.name.dir
  
               file:hadoop的dfs中的name文件夹路径
  
        
  
        
 
              
  
                dfs.datanode.data.dir
  
                file:hadoop的dfs中的data文件夹路径
  
         
  
         
  
       
 
                dfs.replication
  
                3
  
          
  
          

              
  
                  dfs.webhdfs.enabled
  
                  true
  
           
  

 3.133配置mapred-site.xml

如果没有修改文件则执行

cp mapred-site.xml.template mapred-site.xml

执行

vim mapred-site.xml

 
            
  
              mapreduce.framework.name
  
                  yarn
  
            
 
            
  
                    mapreduce.jobhistory.address
  
                    node1:10020
  
            
  
            
  
                  mapreduce.jobhistory.webapp.address
  
                  node1:19888
  
         
  

3.134配置yarn-site.xml

执行

vim yarn-site.xml

 
  
          
  
                 yarn.nodemanager.aux-services
  
                 mapreduce_shuffle
  
          
  
          
  
          yarn.nodemanager.aux-services.mapreduce.shuffle.class
  
                 org.apache.hadoop.mapred.ShuffleHandler
  
          
 
          
  
              
  
                 yarn.resourcemanager.address
  
                 node1:8032
  
         
  
         
  
              
  
                 yarn.resourcemanager.scheduler.address
  
                 node1:8030
  
         
  
         
  
              
  
              yarn.resourcemanager.resource-tracker.address
  
              node1:8031 
  
         
  
              
  
              yarn.resourcemanager.resource-tracker.address
  
               node1:8031
  
        
  
        
  
              
  
                yarn.resourcemanager.admin.address
  
                 node1:8033
  
         
  
         
  
              
  
                 yarn.resourcemanager.webapp.address
  
                 node1:8088
  
         
  
  
  

4.1格式化

hdfs namenode -format

4.11启动停止Hadoop的环境

start-all.sh

stop-all.sh

4.12查看进程

jps

4.13启动hadoop可能会遇到如下问题

 解决方法

vim ~/.bashrc

添加

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

 

source ~/.bashrc

5.1zookeeper环境搭建

5.11进入zookeeper压缩包目录

解压  tar -zxvf 压缩包名

可创建文件软链接，简化配置。

ln -s 解压后文件名 zookeeper

5.12修改配置文件

ZooKeeper的核心服务器属性配置文件是zoo.cfg。在主安装目录下的conf子目录内,系统为用户准备了一个模板文件zoo_sample.cfg，我们可以将这个文件拷贝一份，命名为zoo.cfg，然后修改配置文件。首先我们进入到conf子目录，执行以下命令：

cp zoo_sample.cfg zoo.cfg
vim zoo.cfg

然后，我们进入到zoo.cfg文件中修改配置信息，tickTime：这个时间是作为ZooKeeper服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳；dataDir：顾名思义就是ZooKeeper保存数据的目录，默认情况下，ZooKeeper将数据的日志文件也保存在这个目录里；clientPort：这个端口就是客户端连接ZooKeeper服务器的端口，ZooKeeper会监听这个端口，接收客户端的请求。按如下配置修改tickTime、dataDate、clientPort的值（其余内容不做修改）：

tickTime=2000 
dataDir=zookeeper中tmp路径，这个路径要自己在zookeeper文件中创建。
clientPort=2181 

5.13配置环境变量

vim  ~/.bashrc 

在文件末尾增加下面内容：

export ZOOKEEPER_HOME=zookeeper路径
export PATH=$ZOOKEEPER_HOME/bin:$PATH

使环境变量生效：

source  ~/.bashrc

5.14启动zookeeper

zkServer.sh start

查看状态：

zkServer.sh  status

6.1Hbase环境配置

6.11进入Hbase压缩包位置

tar -zxvf 压缩包名

软链接创建

ln -s 解压后文件名 hbase

6.12配置环境变量

vim  ~/.bashrc

在打开文件的末尾添加以下两行代码，保存并退出。

export HBASE_HOME=hbase路径
export PATH=$HBASE_HOME/bin:$PATH

使环境变量生效，执行下面命令：

source ~/.bashrc

6.13进入hbase文件后创建data目录

mkdir zookeeper

6.14进入hbase中的conf文件后修改配置文件hbase-env.sh

vim hbase-env.sh

在打开的文件中，找到“# export JAVA_HOME”开头的文件，去掉前面的“#”，修改为：

export JAVA_HOME=jdk路径

另外，找到“# export HBASE_MANAGES_ZK”开头的文件，去掉前面的“#”，修改为：

export HBASE_MANAGES_ZK=true

6.15修改配置文件hbase-site.xml

cd  ~/hbase/conf
vim  hbase-site.xml

在打开的文件中编辑内容，如下：

  hbase.rootdir
  hdfs://node1:9000/hbase
	



  hbase.cluster.distributed
  true
			



  hbase.zookeeper.quorum
  node1
				



  dfs.replication
  1




  hbase.zookeeper.property.dataDir
  hbase中zookeeper文件路径

6.16修改配置文件regionservers

vim regionservers

在打开的文件中，将里面的内容修改为(自己主机名)：

node1

6.17启动hbase

start-hbase.sh

6.18查看进程

jps

配置完成