find /usr/local/hadoop/share/hadoop -name "hadoop*jar" | xargs -i cp {} /usr/local/hbase/lib/ 保存hbase的操作命令历史 用户目录下,新建一个文件.irbrc,输入以下内容 require 'irb/ext/save-history' IRB.conf[:SAVE_HISTORY] = 100 IRB.conf[:HISTORY_FILE] = "#{ENV['HOME']}/.irb_history" Kernel.at_exit do IRB.conf[:AT_EXIT].each do |i| i.call end end 重新进入hbase shell,执行几个命令,退出后,命令会保存在用户目录中的.irb_history文件中 hadoop@hadoopMaster:~$ l | grep .ir -rw-rw-r-- 1 hadoop hadoop 24 6月 9 08:57 .irb_history -rw-rw-r-- 1 hadoop hadoop 185 6月 9 08:57 .irbrc
通过WEB查看hbase: 查看Master http://master:60010/master.jsp 查看Region Serverhttp://slave:60030/regionserver.jsp 查看ZK Tree http://master:60010/zk.jsp
#!/bin/bash echo "start" for ((i=19;i<=22;i++)) do ssh 192.168.20.$i 'date -s "2011-05-10 10:44:00"; clock -w' done echo "complete"
hbase(main):001:0> import java.text.SimpleDateFormat => Java::JavaText::SimpleDateFormat hbase(main):002:0> import java.text.ParsePosition => Java::JavaText::ParsePosition hbase(main):004:0> SimpleDateFormat.new("yy/MM/dd HH:mm:ss").parse("08/08/16 20:56:29", ParsePosition.new(0)).getTime() => 1218891389000
create 'tb_splits', {NAME => 'cf', VERSIONS=> 3},{SPLITS => ['a','b','c']} hbase shell之创建表的同时创建分区 这个时候可以http://hadoopmaster:60010/master-status去看看 发现这个表有4个regions: 既有普通option(例如VERSIONS,COMPRESSION等),又创建预分区 create 't', {NAME => 'f', VERSIONS => 1, COMPRESSION => 'SNAPPY'}, {SPLITS => ['10','20','30']}
hbase(main):01:0* for i in 0..9 do\ hbase(main):02:1* put 't1','row1',"f1:c#{i}","swallow#{i}"\ hbase(main):03:1* end
移除添加节点 http://shitouer.cn/2013/03/hadoop-or-hbase-cluster-remove-nodes/
HBase修改压缩格式 http://shitouer.cn/2013/05/hbase-table-alter-compression-type-and-snappy-compression-compare/
//查具体某表的大小 hadoop@hadoopMaster:~$ hdfs dfs -du /hbase 0 /hbase/.tmp 1179 /hbase/WALs 0 /hbase/archive 90224 /hbase/data 42 /hbase/hbase.id 7 /hbase/hbase.version 100 /hbase/oldWALs hdfs dfs -dus /hbase/tablename hdfs dfs -du /hbase/tablename 一个尝试将BigTable(HBase)和 RDBMS (H2数据库) 结合的项目 https://github.com/codefollower/Lealone http://shitouer.cn
root@Master(192.168.0.1):~$ sudo vim /etc/ntp.conf #server ntp.ubuntu.com server 127.127.1.0 minpoll 4 maxpoll 5 fudge 127.127.1.0 stratum 2 server 127.127.1.0 fudge 127.127.1.0 stratum 8 root@Master:~$ sudo /etc/init.d/ntp restart * Stopping NTP server ntpd [ OK ] * Starting NTP server ntpd [ OK ] root@Master:~$ ntpdate -q 127.0.0.1 server 127.0.0.1, stratum 9, offset -0.000016, delay 0.02571 11 Aug 14:54:24 ntpdate[9249]: adjust time server 127.0.0.1 offset -0.000016 sec root@Slave1:/home/hadoop# sudo /etc/init.d/ntp stop * Stopping NTP server ntpd [ OK ] root@Slave1:/home/hadoop# ntpdate 192.168.0.1 11 Aug 14:57:06 ntpdate[2073]: adjust time server 192.168.0.1 offset 0.008728 sec root@Slave1:# crontab -e 添加如下行: * */1 * * * /usr/sbin/ntpdate 192.168.0.1 每个小时与与192.168.0.1时间同步一次。 其它机器类似
查看hbasemeta情况 hbase hbck 1.重新修复hbase meta表 hbase hbck -fixMeta 2.重新将hbase meta表分给regionserver hbase hbck -fixAssignments
hbase hbck -h hbase hbck -fix 导入到HDFS上相应的目录: hbase org.apache.hadoop.hbase.mapreduce.Export student file:/opt/wksp/hbase/mydata/student
hbase:meta hbase:namespace