hadoop +zookeeper + hbase 单节点安装

项目描述：

今天花了680元买了阿里云的一台内存1G, 带宽1M 的云主机. 想以后方便测试用,而且想把自己的博客签到自己的主机上.所以自己就搭了一个测试的环境. 可以用来进行基本的hbase 入库, hadoop  mrjob 的运行.

步骤：

1.配置JDK

我的安装路径如下:/usr/local/java/jdk1.7.0_79
设置环境变量:

JAVA_HOME=/usr/local/java/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH

刷新配置
source /etc/profile

2.安装zookeeper

解压:
在conf目录下创建一个配置文件zoo.cfg，
并修改内容:
tickTime=2000
dataDir=/zzy/zookeeper-standlone/data
dataLogDir=/zzy/zookeeper-standlone/datalog
clientPort=2181

启动:
./zkServer.sh start 

验证:
jps
QuorumPeerMain

3.安装hadoop（伪分布）

解压：tar -zxvf hadoop.2.6.0.tar.gz -C /zzy

需要修改5个配置文件

第一个：hadoop-env.sh

vim hadoop-env.sh

export JAVA_HOME=/usr/local/java/jdk1.7.0_79

第二个

core-site.xml

<!--指定fs的默认名称--> 

<property> 

<name>fs.default.name</name> 

<value>hdfs://hadoop:9000</value> 

</property> 

<!-- 指定HDFS的老大（NameNode）的地址 --> 

<property> 

<name>fs.defaultFS</name> 

<value>hdfs://hadoop:9000</value> 

</property> 

<!-- 指定hadoop运行时产生文件的存储目录 --> 

<property> 

<name>hadoop.tmp.dir</name> 

<value>/zzy/hadoop-2.6.0/tmp</value> 

</property> 

第三个：hdfs-site.xml

 

<!-- 指定HDFS副本的数量 --> 

<property> 

<name>dfs.replication</name> 

<value>1</value> 

</property> 

第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

<!-- 指定mr运行在yarn上 --> 

<property> 

<name>mapreduce.framework.name</name> 

<value>yarn</value> 

</property> 

第五个：yarn-site.xml

<!-- 指定YARN的老大（ResourceManager）的地址 --> 

<property> 

<name>yarn.resourcemanager.hostname</name> 

<value>hadoop</value> 

</property> 

<!-- reducer获取数据的方式 --> 

<property> 

<name>yarn.nodemanager.aux-services</name> 

<value>mapreduce_shuffle</value> 

</property> 

然后将hadoop添加到环境变量
vim /etc/profile

内容如下：

JAVA_HOME=/usr/java/jdk1.7.0_79

HADOOP_HOME=/zzy/hadoop-2.6.0

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置生效: source /etc/profile

格式化namenode（是对namenode进行初始化）
hdfs namenode -format

启动:
start-dfs.sh
start-yarn.sh
验证: 
jps

27408 NameNode

28218 Jps

27643 SecondaryNameNode

28066 NodeManager

27803 ResourceManager

27512 DataNode

http://hadoop:50070 （HDFS管理界面）

http://hadoop:8088 （MR管理界面）

3. 安装hbase 

解压 
tar -zxvf hbase-0.98.8-hadoop2-bin.tar.gz

修改${HBASE_HOME}/conf/三个配置文件
第一个:
# vim hbase-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_79 //去掉注释改成本机的jdk
第二个: hbase-site.xml

<configuration> 
<property> 

<name>hbase.rootdir</name> 

<value>hdfs://hadoop:9000/hbase</value> 

</property> 

<property> 

<name>hbase.cluster.distributed</name> 

<value>true</value> 

</property> 
<property> 

<name>hbase.zookeeper.quorum</name> 

<value>hadoop:2181</value> 

</property> 

</configuration> 

第三个：regionservers

添加主机的hostname

 

启动hbase:
cd  bin
./start-hbase.sh

验证:
jps

18568 Jps
10027 SecondaryNameNode
15965 QuorumPeerMain
18225 HRegionServer (hbase)
14739 Main
9760 NameNode
9880 DataNode
18062 HMaster (hbase )

 

用到的软件：http://pan.baidu.com/s/1hqJK7xq