chukwa 0.5.0 + hbase 0.94.8 + hadoop 1.1.4 + pig 0.11.1单机伪分布配置

 
  

背景:所用的版本都是最新的稳定版,本文主要围绕chukwa进行配置,至于hadoop、hbase、pig的安装只要遵照官方网站的指导就能配置出来

本文对chukwa的安装也是在官方网站http://incubator.apache.org/chukwa/docs/r0.5.0/Quick_Start_Guide.html的指导下进行配置,并以此为基础进行修改。

第一步 准备阶段

      下载chukwa 0.5.0,并解压(解压命令tar xzvf)我的安装路径是/usr/local,将解压后的文件名设置为chukwa(去掉版本号比较方便)       设置CHUKWA_HOME,这不是必要的,但是为了方便,我设置了    

第二步 安装chukwa伪分布    

1.将chukwa中几个文件拷贝到hadoop安装目录

 
   
cp $CHUKWA_CONF_DIR/hadoop-log4j.properties $HADOOP_CONF_DIR/log4j.properties
 
   
cp $CHUKWA_HOME/etc/chukwa/hadoop-metrics2.properties $HADOOP_CONF_DIR/hadoop-metrics2.properties
cp $CHUKWA_HOME/share/chukwa/chukwa-0.5.0-client.jar $HADOOP_HOME/lib
 
    
(官方说明拷贝到$HADOOP_HOME/share/hadoop/lib,但是之后运行hadoop会报错)
 
   
 
    
cp $CHUKWA_HOME/share/chukwa/lib/json-simple-1.1.jar $HADOOP_HOME/lib
($CHUKWA_CONF_DIR表示chukwa配置文件所在目录,在5.0版本中,配置文件所在的目录为$CHUKWA_HOME/etc/chukwa)  
($HADOOP_CONF_DIR表示hadoop配置文件所在目录,即HADOOP_HOME/conf)    
 
   

2.编辑$CHUKWA_HOME/etc/chukwa/chukwa-env.sh文件,

设置 JAVA_HOME, HADOOP_HOME, HADOOP_CONF_DIR, HBASE_HOME, and HBASE_CONF_DIR变量

3.替换jar包

用hbase_home下的hbase-0.94.8.jar与hbase-0.94.8-test.jar包替换chukwa_home/share/chukwa/lib下的hbase-0.90.4.jar与hbase-0.90.4-test.jar包,否则collector会出现错误,错误信息需要在log文件中查看,log的输出地址默认在/tmp/chukwa/log下

 4.启动hadoop,hbase

启动hadoop时会报log4j错误,但是不要紧,这是未启动agent所导致的。启动截图如下
 
  

chukwa 0.5.0 + hbase 0.94.8 + hadoop 1.1.4 + pig 0.11.1单机伪分布配置_第1张图片

5.执行$hbase_home/bin/hbase shell < $CHUKWA_HOME/etc/chukwa/hbase.schema

6.启动collector

注意,一定要在chukwa_home路径下执行bin/chukwa collector否则会报错,因为脚本写得有问题,启动后控制台输出如下
 
  
chukwa 0.5.0 + hbase 0.94.8 + hadoop 1.1.4 + pig 0.11.1单机伪分布配置_第2张图片

7.启动agent

bin/chukwa agent,启动后控制台输出如下
 
  
chukwa 0.5.0 + hbase 0.94.8 + hadoop 1.1.4 + pig 0.11.1单机伪分布配置_第3张图片
查看log日志,确保agent与collector运行正常,以下为log输出文件的最后几行
 
  
chukwa 0.5.0 + hbase 0.94.8 + hadoop 1.1.4 + pig 0.11.1单机伪分布配置_第4张图片

第三步 数据显示

1.安装pig

同样,我们使用最新版pig 0.11.1(我喜欢下最新的稳定版,要注意pig是否与hbase,hadoop兼容)

2.拷贝jar包

将$hbase_home/lib下的两个jar包拷贝到$pig_home/lib下,sudo cp zookeeper-3.4.5.jar protobuf-java-2.4.0a.jar /usr/local/pig/lib中。若不这样做,会出现ClassNotFoundError。反正出现哪个类找不到就把那个类的jar包添加到路径中去。

3.执行jar cf $CHUKWA_HOME/hbase-env.jar $HBASE_CONF_DIR

4.执行 pig命令

pig -Dpig.additional.jars=/usr/local/hbase/hbase-0.94.8.jar:/usr/local/hbase/lib/zookeeper-3.4.5.jar:/usr/local/pig/pig-0.11.1.jar:/usr/local/chukwa/hbase-env.jar /usr/local/chukwa/share/chukwa/script/pig/ClusterSummary.pig,如果出现权限问题无法写入log,就在主目录下执行吧。这个任务执行得很慢。
任务执行失败了,提示是map-reduce错误,所以可以去查看hadoop的错误日志,如图所示
发现是ClassNotFoundError,将$hbase/home/lib下的protobuf-java-2.4.0a.jar拷贝到hadoop_home/lib下,然后重启hadoop,最好把hbase,chukwa都重启
重启后,pig执行成功,截图如下
 
  
chukwa 0.5.0 + hbase 0.94.8 + hadoop 1.1.4 + pig 0.11.1单机伪分布配置_第5张图片
 
   

5.替换hicc.war中jar包

解压$CHUKWA_HOME/share/webapps/hicc.war包(jar xvf),用chukwa_home/share/chukwa/lib下的jasper-runtime-5.5.12.jar替换掉hicc/WEB-INFO/lib下的几个包jasper-runtime-5.5.23.jar,还需要替换hbase相关的jar包,再打包(jar cvfM0)

6.启动hicc

bin/chukwa/chukwa hicc,在浏览器中输入localhost:4080,输入用户名和密码admin,出现界面,界面上有图表信息。

到此配置成功,因为采用的都是默认配置,所以要按需修改

 

你可能感兴趣的:(chukwa)