HDFS+MapReduce+Hive+HBase十分钟快速入门(二）
9.3. 编译 Hive
在编译 Hive 之前，请确保 HADOOP_HOME 和 IVY_HOME 两个环境变量已经生效。
1) 使用 svn 从 http://svn.apache.org/repos/asf/hadoop/hive/trunk 下载 Hive 源代码
2) 将下载来的 Hive 源代码打包，然后上传到 Hadoop-A 机器
3) 解压 Hive 源代码包
4) 修改 shims/ivy.xml ：
只保留 0.20.0 的配置，否则编译会出错
5) 运行 ant 开始编译：
ant -Dtarget.dir=/usr/local/hadoop/hive -Dhadoop.version=0.20.0 package
这步完成之后， Hive 会被安装到 /usr/local/hadoop/hive 目录下
6) 添加 Hive 环境变量，在 /etc/profile 文件中增加如下两行：
export HIVE_HOME=/usr/local/hadoop/hive
export PATH=$HIVE_HOME/bin:$PATH
10. 安装 HBase
1) 从 http://svn.apache.org/repos/asf/hadoop/hbase/trunk 下载最新的 HBase 源代码
2) 将 HBase 源代码打包，并上传到 Linux 上
3) 解压 HBase 源代码包
4) 编译 HBase ：
ant -Dtarget.dir=/usr/local/hadoop/hbase -Dhadoop.version=0.20.0 package
5) 编译成功之后， HBase 可能并不象 Hive 一样自动安装到 /usr/local/hadoop/hbase 目录下，这个时候需要手工复制到 HBase 安装目录下：将 build/hbase-0.21.0-dev 整个目录复制到 /usr/local/hadoop 目录下，并将 hbase-0.21.0-dev 重命名成 hbase 即可
6) 进入 /usr/local/hadoop/hbase/conf 目录，将 hbase-default.xml 复制一份，并命名成 hbase-site.xml
7) 修改 hbase-site.xml ：
设置 hbase.rootdir 的值为： hdfs://Hadoop-A:54310/hbase ；
设置 hbase.master （ hbase.master 可能为 hbase.master.port ）的值为： Hadoop-A:60000
8) 修改 hbase-env.sh ：
设置环境变量 JAVA_HOME ： export JAVA_HOME=/usr/local/jre
9) 在 Master 节点，还需要修改 regionservers ，在这个文件中列出所有的 slave 机器，一行一个机器名：
Hadoop-B
Hadoop-C
这一步不用在 slave 节点上操作。
10) 通过以上操作， HBase 已经安装和配置好，然后应当打包，将它部署到集群的所有节点上
11. 体验
11.1. 启动和停止
11.1.1. hadoop
在启动 Hadoop 集群之前，需要先格式化，在 master 节点上执行下面的命令即可：
hadoop namenode -format
11.1.2. start-all.sh
这个脚本用来启动 Hadoop 。
可以通过 http://172.25.38.127:50070 来查看 HDFS 的启动情况。
可以通过 http://172.25.38.127:50030 来查看 MapReduce 的启动情况。
11.1.3. stop-all.sh
这个脚本用来停止 Hadoop 。
11.2. 体验 HDFS
HDFS 的使用和普通的 Linux 命令差不多，只不过各类操作都必须作为 hadoop 命令的参数，如在 hadoop 上执行 ls 操作：
hadoop fs -ls /
这条命令相当于 Linux 下的 ls / 。
11.3. 体验 MapReduce
体验 MapReduce ，可以使用 Hadoop 自带的 WordCount ，如：
hadoop jar wordcount.jar /x/x /z
其中 wordcount.jar 是 WordCount 的可执行包， /x/x 是源文件，是一段以逗号分隔的英文片断，而 /z 是结果存放的目录。
11.4. 体验 Hive
Hive 的使用非常简单，照着 http://wiki.apache.org/hadoop/Hive/GettingStarted 上说的来操作就可以了。
12. FAQ
12.1. 如何查看 Hadoop 进程
如果安装了 JDK ，则在 JDK 的 bin 目录下有一个 jps 命令，可以用来查看 java 进程，如：
# jps
27612 NameNode
17369 Jps
16206 HQuorumPeer
15423 HMaster
27761 SecondaryNameNode
27839 JobTracker
其中，第一列为进程号，第二列为进程名称。
12.2. ssh 端口问题
如果 ssh 不是使用默认端口，则需要修改 hadoop-env.sh 文件中的 HADOOP_SSH_OPTS 环境变量，假设 ssh 端口号为 8000 ，则可以简单设置为： export HADOOP_SSH_OPTS="-p 8000"
如果安装了 HBase ，还应当修改 hbase-env.sh 文件中的 HBASE_SSH_OPTS 。
12.3. 首次 ssh 登录问题
首次通过 ssh 登录另一台机器时，可能会遇到一个 yes 确认过程，因此在启动之前，应当先手工或使用其它脚本 ssh 成功登录一次，否则容易遇到如下错误：
r# ./start-hbase.sh
DOSS38-127-sles10: Host key not found from database.
DOSS38-127-sles10: Key fingerprint:
DOSS38-127-sles10: xuror-ledab-buhim-zohok-tanop-cyrig-tysac-gyhyp-refan-semim-pyxex
DOSS38-127-sles10: You can get a public key's fingerprint by running
DOSS38-127-sles10: % ssh-keygen -F publickey.pub
DOSS38-127-sles10: on the keyfile.
DOSS38-127-sles10: warning: tcgetattr failed in ssh_rl_set_tty_modes_for_fd: fd 1: Invalid argument