HBase集群的搭建 与

HBase集群的搭建（在《HBase伪分布式安装》基础上搭建）

1 集群结构，主节点(hmaster)是hadoop0，从节点(region server)是hadoop1和hadoop2
2 修改hadoop0上的hbase的几个文件
　　(1)修改hbase-env.sh的最后一行export HBASE_MANAGES_ZK=false
　　(2)修改hbase-site.xml文件的hbase.zookeeper.quorum的value值为hadoop0,hadoop1,hadoop2
　　(3)修改regionservers文件(存放的region server的hostname)，内容修改为hadoop1、hadoop2
3 复制hadoop0中的hbase文件夹到hadoop1、hadoop2中
　　　　scp -r /usr/local/hbase hadoop1:/usr/local/
　　　　scp -r /usr/local/hbase hadoop2:/usr/local/
　　复制hadoop0中的/etc/profile到hadoop1、hadoop2中，
　　　　scp /etc/profile hadoop1:/etc/
　　　　scp /etc/profile hadoop2:/etc/
　　在hadoop1、hadoop2上执行source /etc/profile
4 首先启动hadoop，然后启动zookeeper集群。
最后在hadoop0上启动hbase集群。
　start-all.sh（只在hadoop0上执行）----->zkServer.sh start（三个节点都要执行并查看status）----->start-hbase.sh(只在hadoop0上执行)
5 验证：jps（HMaster,HRegionServer）
　　　　也可在浏览器中输入hadoop0:60010查看

1.Pig是基于hadoop的一个数据处理的框架。
　　MapReduce是使用java进行开发的，Pig有一套自己的数据处理语言，Pig的数据处理过程要转化为MR来运行。
2.Pig的数据处理语言是数据流方式的，类似于初中做的数学题。
3.Pig基本数据类型：int、long、float、double、chararray、bytearray
复合数据类型：Map、Tuple、Bag
Bag的类型如{(‘age’,31),(‘name’,‘张三’)}

4.如何安装Pig(在hadoop0上安装)
4.1 把pig-0.11.1.tar.gz复制到/usr/local下
4.2 使用命令tar -zxvf pig-0.11.1.tar.gz解压缩
4.3 使用命令mv pig-0.11.1 pig 进行重命名
4.4 编辑文件vi /etc/profile 设置环境变量
　　　　export PIG_HOME=/usr/local/pig
　　　　export PATH =…:$PI{G}_{H}OME/bin....保存，然后执行source/etc/profile4.5编辑文件$PIG_HOME/conf/pig.properties，增加两行如下内容
　　　　fs.default.name=hdfs://hadoop0:9000 (见/usr/local/hadoop/conf/core-site.xml)
　　　　mapred.job.tracker=hadoop0:9001 (见/usr/local/hadoop/conf/mapred-site.xml)

5.对wlan数据(手机上网日志)如何使用pig进行分析处理
5.1 把待处理的数据上传到HDFS中
　　　　hadoop fs -put HTTP.dat /wlan
5.2 把HDFS中的数据转换为pig可以处理的模式（执行pig命令，就进入到pig命令行模式下）
　　　　A = LOAD ‘/wlan’ AS (t0:long, msisdn:chararray, t2:chararray, t3:chararray, t4:chararray, t5:chararray, t6:long, t7:long, t8:long, t9:long, t10:chararray);
　　　　DUMP A; ----查看

　　　　　
5.3 把里面的有用的字段抽取出来
　　　　B = FOREACH A GENERATE msisdn, t6, t7, t8, t9;
　　　　DUMP B;
　　　　　
5.4 分组数据
　　　　C = GROUP B BY msisdn;
　　　　DUMP C;

5.5 流量汇总
　　　　D = FOREACH C GENERATE group, SUM(B.t6), SUM(B.t7), SUM(B.t8), SUM(B.t9); -----group代表第一列手机号码的字段(汇总出同一个手机号码的流量)
　　　　DUMP D;

5.6 存储到HDFS中
　　　　STORE D INTO ‘/wlan_result’;
　　　　查看HDFS：
　　　　　　hadoop fs -lsr /
　　　　　　hadoop fs -text /wlan_result/part-r-*

　　　
还可以排序：
　　E = ORDER D BY group;
　　DUMP E;