本文来讲 hadoop搭建教程之三(Hbase伪分布安装)
先决条件:
配置apache hadoop append,默认这个属性是false,需要设置为true
修改(hadoop/conf/hdfs-site.xml)
<property> <name>dfs.support.append</name> <value>true</value> </property> <property> <name>dfs.datanode.max.xcievers</name> <value>4096</value> </property>
解压hbase-0.94.2.tar.gz到/opt/目录下
tar -zxvf hbase-0.94.2.tar.gz -C /opt mv hbase-0.94.2 hbase
二、配置hbase-env.sh
复制lib/hadoop-core.jar到hadoop下
配置JAVA_HOME:
export JAVA_HOME=/usr/java/jdk/zookeeper管理
export HBASE_MANAGES_ZK=true
三、配置conf/hbase-site.xml
<property> <name>hbase.rootdir</name> <value>hdfs://master:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.master</name> <value>hdfs://master:60000</value> </property> <property> <name>hbase.tmp.dir</name> <value>/home/${user.name}/tmp</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>master</value> </property> <property> <name>hbase.zookeeper.property.clientPort</name> <value>2181</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/home/${user.name}/zookeeper</value> </property>hbase.rootdir设置hbase在hdfs上的目录,主机名为hdfs的namenode节点所在的主机
hbase.cluster.distributed设置为true,表明是完全分布式的hbase集群
hbase.master设置hbase的master主机名和端口
hbase.tmp.dir设置hbase的临时文件目录
hbase.zookeeper.quorum设置zookeeper的主机,建议hi使用单数
hbase.zookeeper.property.clientPort设置zookeeper的端口
hbase.zookeeper.property.dataDir设置zookeeper的存储目录
四、配置 conf/regionservers
将所有的region server 添加到这个文件,类似与hadoop的slaves文件
master
需要把Hbase/lib/hadoop-0.94.2-core.jar替换成实际hadoop/hadoop-core-1.0.4.jar
rm -rf hadoop-core-1.0.3.jar cp /opt/hadoop/hadoop-core-1.0.4.jar .
Hbase的所有数据都存储在hdfs中,因此直接启动便可。
/bin/start-hbase.sh /bin/hbase-daemon.sh start thrift
http://master:60010/master-status 查看连点信息
http://master:60030/rs-status 查看regionserver信息
http://master:60010/zk.jsp 查看zookeeper信息
八、使Hadoop支持Hbase MapReduce
在HBase中,对Hadoop MapReduce进行了一些封装,使Hadoop MapReduce可以直接以HBase表作为输入和输出。一次,要配置Hadoop引入HBase的类库。在Hadoop的conf/hadoop-env.sh里面添加:
export HBASE_HOME=/opt/hbase export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HBASE_HOME/hbase-0.94.2.jar:$HBASE_HOME/hbase-0.94.2-tests.jar:$HBASE_ HOME/conf:$HBASE_HOME/lib/zookeeper-3.4.3.jar:$HBASE_HOME/lib/protobuf-java-2.4.0a.jar
OK,本节到此结束。