Hadoop & HBase安装笔记

Hadoop & HBase安装笔记 – Pro Evolution Slawdan

Hadoop & HBase安装笔记

目标

在两台机器上安装Hadoop和HBase作为实验，两台机器分别作为主从。

背景环境

• 对Hadoop,HBase有一定了解
• CentOS 5
• JDK 1.6.0_25
• Hadoop 0.20.205.0
• HBase 0.90.4

安装Hadoop

主要参考：官方集群建立文档 http://hadoop.apache.org/common/docs/current/cluster_setup.html

次要参考：

• 官方单机建立文档 http://hadoop.apache.org/common/docs/current/single_node_setup.html
• HDFS默认配置 http://hadoop.apache.org/common/docs/current/hdfs-default.html

拓扑结构：

• A,B两台机器，A为NameNode + JobTracker + DataNode + TaskTracker, B仅为DataNode + TaskTracker

基本步骤：

按官方文档走即可，注意调整各种配置。在A上配置完毕以后，直接scp hadoop安装目录（包括conf）到B的对应目录，然后从A bin/start-all 启动。主从配置完全取决于 conf/masters 和 conf/slaves。

碰到的各种问题：

1. 坑爹的公司服务器的SSH配置： 老实用rsa/dsa就好了……实在不行单开一个sshd服务也行。
   1. ssh参数： -i PrivKey文件地址 -p 端口号
   2. scp参数：-i PrivKey文件地址 -P 端口号
   3. sshd_config里确认两台机器的IP地址以及localhost都被允许：
      1. AllowUsers [email protected] hadoop_user@A hadoop_user@B
      2. AllowUsers支持IP通配符 “*, ?”
   4. service sshd reload 重启sshd
2. cfengine对各种配置文件的保护：
   1. chattr +i 锁定修改
   2. 锁定以后最好再检查一遍防止正好碰上cfengine同步
   3. 需要重新修改的时候用chattr -i 解锁，解锁之前最好先备份一下……
3. 如果在root用户下启动，可能会碰到 -jvm wrong parameter blahblah，可以修改 bin/hadoop, 找到 if [[ $EUID -eq 0 ]]; then，改掉子句里的参数列表，跟 else 子句相同即可。主要原因是root用户的 EUID 为0；以及jvm不同版本的启动参数不太相同导致。
4. 一定要下载 0.20.205.0 以后版本，合并了可以和 HBase 兼容的代码分支 0.20-append。 启动的时候会报很多Warning $HADOOP_HOME deprecated blahblah，不需理会。
5. 如果用 bin/start-all 偷懒方式启动，有可能因为配置错误什么的导致某些服务起不来，但不会有任何错误提示。最好使用 netstat -nlp | grep java 看下端口号50030, 50010, 50070, 还有JobTracker的自定义端口是否已经被监听了，如果没有，可以用对应的启动脚本单独启动，这样会输出具体的错误。
6. 启动之前一定要修改 ulimit 的 -n 51200 和 -u unlimited 以上。否则会出现各种Fetch Failed。

安装HBase

前提：

必须已经正确安装了Hadoop，但可以不启动JobTracker，HBase有自己的MapRed

主要参考：

• 官方文档 http://hbase.apache.org/book.html

安装步骤：

建议先启动Standalone玩儿一下，然后再往Hadoop里配置，依照官方文档即可。

拓扑结构：

B为master，A和B均为regionserver

碰到的各种问题：

1. 官方文档里说明了HBase与Hadoop的适配版本，主要是 0.20-append 分支是否合并进hadoop主干的问题。hadoop 0.20.205.0 已经合并，所以一定要用 0.20.205.0 以后版本的hadoop。
2. 启动之前一定要修改 ulimit -n 51200 和 ulimit -u 51200 以上。
3. 官方文档里提到的需要替换 lib/hadoop-core-….jar 的问题一定要做。否则启动时会出现 EOFException。由于实际版本号不同，所以直接把原jar移走，新jar放入即可。
4. 0.20.205.0 需要同时把 hadoop/lib 里的commons-configuration-1.6.jar 也考到 hbase/lib里。否则启动master时会出现master.HMaster exception of “NoClassDefFoundError” (参考 http://javoft.net/2011/09/hbase-hmaster-%E6%97%A0%E6%B3%95%E5%90%AF%E5%8A%A8-call-to-failed-on-local-exception/)
5. 这两个jar最好设置与原来的jar相同的属性： rwsrwsrwt:
   1. 设置方法： chmod a+x, chmod ug+s, chmod o+t
6. bin/start-hbase 会自动启动一个zookeeper。当然可以自行配置zookeeper。
7. bin/stop-hbase 貌似只会停止zookeeper和master, 在 B(master)上会遗留 regionserver，可以kill 进程或者 bin/hbase-daemon.sh stop regionserver
8. 同样使用 netstat -nlp | grep java 检查端口号，HBase相关服务端口均以 600开头。

Happy Starting

TODO：

• ZooKeeper
• 各种监视脚本
• Hadoop NameNode单点
• HBase master单点
• 修改集群需要停机……
• 测试各种文件大小空间占用
• 各种文件大小和负载下的Benchmark
• 在超过5台服务器上配置集群。貌似由于现在只有2台机器共4块硬盘，而默认dfs.replication为3，所以造成硬盘随机读写，简单benchmark时的IO吞吐低的离谱(w:30M/s, r: 150M/s)……