腾讯云+阿里云 搭建hadoop + hbase

---

历时两天，踩了无数坑最后搭建成功。。。

准备

• 两台服务器都安装jdk1.8（最好装在相同路径）。
• hadoop 下载
• hbase 下载
• 这里使用hadoop-2.7.3和hbase1.2.4

服务器配置

以下1-3步骤中两台服务器都要配置
1、修改hostname
主节点修改成master
从节点修改成slave1
使用命令：vim /etc/hostname

master
# or slave1

重启服务器：reboot
2、修改服务器hosts
假如主节点是阿里云。则在阿里配置
命令: vi /etc/hosts

ip master
ip1 slave1

其中 ip=阿里的内网ip；ip1=腾讯的外网ip
在腾讯配置

ip master
ip1 slave1

其中 ip=阿里的外网ip；ip1=腾讯的内网ip。

3、安装jdk1.8，并配置环境变量

4、ssh配置（master主机）

输入命令生成密匙对

ssh-keygen -t rsa

一路回车

上述命令将在/root/.ssh目录下生成公钥文件id_rsa.pub。将此文件拷贝到.ssh目录下的authorized_keys：

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

使用ssh登录本机

将公钥复制到从节点

ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave1

可能需要输入从节点密码。

完成后确保从master免密码登录到slave1

对服务的配置就完成了，接下了配置hadoop。

hadoop

在master构建好hadoop，然后利用ssh分发到slave。所以下面配置在master进行

在home创建hadoop目录和配置文件路径

cd /home/
mkdir hadoop

cd hadoop
mkdir hadoop_data
cd hadoop_data
mkdir tmp
mkdir hdfs
cd hdfs
mkdir data
mkdir name

1、下载并解压：

可以使用wget下载或者上传都可以。

tar zxvf hadoop-2.7.3.tar.gz -C /home/hadoop/

2、 配置hadoop

hadoop配置文件路径 /home/hadoop/hadoop-2.7.3/etc/hadoop

hadoop-env.sh
修改JAVA_HOME。jdk路径

vi /home/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.xml

export JAVA_HOME=/usr/local/jdk1.8.0_171

core-site.xml

vi /home/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml

 
  fs.defaultFS
  hdfs://master:9000
 

  io.file.buffer.size
  131072
 
 
  hadoop.tmp.dir
  file:/home/hadoop/hadoop_data/tmp
  Abasefor other temporary directories.
 

hdfs-site.xml

vi /home/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml

  dfs.namenode.secondary.http-address
  master:9001
  备份namenode的http地址
 
  
   dfs.namenode.name.dir
   file:/home/hjh/hadoop_data/hdfs/name
   namenode的目录位置
 

 
  dfs.datanode.data.dir
  file:/home/hjh/hadoop_data/hdfs/data
  datanode's address
  

 
  dfs.replication
  1
  hdfs系统的副本数量
 

     dfs.permissions
     false

 
  dfs.webhdfs.enabled
  true
 

yarn-site.xml

vi /home/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml

    yarn.nodemanager.aux-services
    mapreduce_shuffle


    yarn.resourcemanager.hostname
    master
  

   yarn.nodemanager.aux-services.mapreduce.shuffle.class
   org.apache.hadoop.mapred.ShuffleHandler

  
   yarn.resourcemanager.address
   master:8032

  
   yarn.resourcemanager.scheduler.address
   master:8030


    yarn.resourcemanager.resource-tracker.address
    master:8031


   yarn.resourcemanager.admin.address
   master:8033


   yarn.resourcemanager.webapp.address
   master:8088

mapred-site.xml

vi /home/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml

   mapreduce.framework.name
   yarn
   指明mapreduce的调度框架为yarn
 
 
  mapreduce.jobhistory.address
  master:10020
  指明mapreduce的作业历史地址
 
 
  mapreduce.jobhistory.webapp.address
  master:19888
  指明mapreduce的作业历史web地址
 

salve

vi /home/hadoop/hadoop-2.7.3/etc/hadoop/salve

master
slave1

该文件指定datanode从节点所在的服务器ip，这里只有两台服务器，所以将主节点master也加上去）

配置环境变量（方便后续操作）

vim /etc/profile 
export HADOOP_HOME=/home/hadoop/hadoop-2.7.3 
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin . source /etc/profile

最后copy这个hadoop给slave1

scp -r /home/hadoop/hadoop-2.7.3  root@slave1:/home/hadoop/

启动hadoop

以下在master进行

1、先格式化namenode

hadoop namenode -format

2、启动hadoop

./start-all.sh

执行:jps，查看相关进程

在slave1执行jps，

如果相关进程没有启动则去查看logs对应的模块的日志。准备埋坑。

在hdfs创建目录试试：
在master

hdfs dfs -ls /

hdfs是空的没有返回任何东西。
创建目录test

hdfs dfs -mkdir /test
hdfs dfs -ls /

在slave1中同样可以看到test

至此hadoop搭建完成。

hbase

在master构建，然后分发到slave

1、下载并解压：

可以使用wget下载或者上传都可以。

tar zxvf hbase-1.2.4.tar.gz -C /home/hadoop/

2、 配置hbase

hbase配置文件路径 /home/hadoop/hbase-1.2.4/conf

复制hadoop的hdfs-site.xml和core-site.xml到conf

 cp -u /home/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml /home/hadoop/hbase-1.2.4/conf
 
 cp -u /home/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml /home/hadoop/hbase-1.2.4/conf

hbase-env.sh

vi /home/hadoop/hbase-1.2.4/conf/hbase-env.sh

由于使用jdk1.8 将如下注释

#配置jdk环境
export JAVA_HOME=/usr/local/jdk1.8.0_171
 
#配置zookeeper，true则说明使用hbase内置的zookeeper，false则说明使用单独的zookeeper集群
export HBASE_MANAGES_ZK=true

hbase-site.xml

vi /home/hadoop/hbase-1.2.4/conf/hbase-site.xml

    
        hbase.rootdir
        hdfs://master:9000/hbase
    
        
    
    
        hbase.cluster.distributed
        true
    
        
    
    
        hbase.master
        master:60000
    
        
    
    
        hbase.zookeeper.quorum
        master
    

regionservers

vi /home/hadoop/hbase-1.2.4/conf/regionservers

master
slave1

最后分发个slave1

scp -r /home/hadoop/hbase-1.2.4 root@slave1:/home/hadoop/

在master 启动hbase
在hbase/bin 下启动hbase

./start-hbase.sh

master运行jps查看相关进程

slave1

出错看logs查看那个模块出问题。

运行hbase shell

整个hadoop + hbase 就搭建好了

JAVA测试

/**
 * @Description:
 * @Author: HJH
 * @Date: 2019-09-04 17:06
 */
public class HBaseConn {

    private static final HBaseConn INSTANCE = new HBaseConn();
    private static Configuration configuration;
    private static Connection connection;

    private HBaseConn() {
        try {
            if (configuration == null) {
                configuration = HBaseConfiguration.create();
                configuration.set("hbase.zookeeper.quorum", "ip"); //master ip
                System.setProperty("hadoop.home.dir", "E:\\hadoop-2.7.3");
                configuration.set("hbase.zookeeper.property.clientPort","2181"); //端口号
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    private Connection getConnection() {
        if (connection == null || connection.isClosed()) {
            try {
                connection = ConnectionFactory.createConnection(configuration);
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
        return connection;
    }

    public static Connection getHBaseConn() {
        return INSTANCE.getConnection();
    }

    public static Table getTable(String tableName) throws IOException {
        return INSTANCE.getConnection().getTable(TableName.valueOf(tableName));
    }

    public static void closeConn() {
        if (connection != null) {
            try {
                connection.close();
            } catch (IOException ioe) {
                ioe.printStackTrace();
            }
        }
    }
}

public class HBaseUtil {
    public static void main(String[] args) {  
        createTable("FileTable", new String[]{"fileInfo", "saveInfo"});
    }



    /**
     * 创建TABLE
     * @param tableName 表名
     * @param cfs 列族
     * @return 是否创建成功
     */
    public static boolean createTable(String tableName, String[] cfs) {
        try (HBaseAdmin admin = (HBaseAdmin) HBaseConn.getHBaseConn().getAdmin()) {
            if (admin.tableExists(tableName)) {
                return false;
            }
            HTableDescriptor tableDescriptor = new HTableDescriptor(TableName.valueOf(tableName));
            Arrays.stream(cfs).forEach(cf -> {
                HColumnDescriptor columnDescriptor = new HColumnDescriptor(cf);
                columnDescriptor.setMaxVersions(1);
                tableDescriptor.addFamily(columnDescriptor);
            });
            admin.createTable(tableDescriptor);
        } catch (Exception e) {
            e.printStackTrace();
        }
        return true;
    }

创建成功