Hbase&Hadoop常用命令

Hbase中根据Rowkey的前缀Prefix查询数据：

scan 'test_xiaomifeng_monitoring_log',{FILTER => "(PrefixFilter ('166_20130816080'))"}

 查看表结构：

describe 'table1'

 创建表：create 'table1','d'

第一个是表名，第二个是family

 

在本地和HDFS之间批量拷贝数据 ：

copyFromLocal

Usage: hdfs dfs -copyFromLocal <localsrc> URI

Similar to put command, except that the source is restricted to a local file reference.

copyToLocal

Usage: hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

Similar to get command, except that the destination is restricted to a local file reference.

 

  

 修改文件副本保存的个数：

配置hadoop的conf目录中的hdfs-site.xml：

 

<property>
<name>dfs.replication</name>
<value>2</value>
</property>

 

对于已经上传的文件，修改其副本个数：

hadoop fs -setrep [-R] [-w] <rep> <path/file>:  Set the replication level of a file.

                The -R flag requests a recursive change of replication level

                for an entire tree.

 

例如：hadoop fs -setrep -R -w 2 /

上面的这句话会将HDFS根目录下所有的文件的保存的份数该为2.

 

手动kill集群上的job： 

先用hadoop job -list查看任务列表，找到jobid，更直观的做法是到job tracker上查找jobid。再用hadoop job -kill jobId。

 

HBase只返回前10行数据：

scan 'tb1', {LIMIT => 10}

 

查看某个目录所有文件各自的大小：

hadoop fs -du URI [URI …]

查看整个文件夹的大小：

hadoop fs -dus URI [URI …]

 

在普通机器上执行 Hadoop2的MapReduce Job：

安装完dpl-tools后，java -classpath /opt/hugedata/dpl/lib/*:aaa.jar  com.hugedata.dataanalysis.test.TestMR