CDH,TDH常用命令总结

jps

jInfo pid查看进程信息

jstack -F pid打出轨迹

free -m 只显示内存使用情况

查看文件编码

file 1.csv 

对于上传文件乱码问题
iconv -f GBK -t UTF-8 1.csv -o 2.csv

ll -h 查看文件详细大小

impala-shell相关命令
invalidate metadata t_system_cpumemory;
refresh t_system_cpumemory;

常用参数

　　-b 以二进制方式，默认为文本方式。（Binary （tell it like it is） file transfer override.）

　　-e 对所有控制字符转义。（Force sender to escape all control characters; normally XON， XOFF， DLE， CR-@-CR， and Ctrl-X are escaped.）

　　如果要保证上传的文件内容在服务器端保存之后与原始文件一致，最好同时设置这两个标志，如下所示方式使用：

　　rz -be

hadoopfs -df[-h]

• Displays freespace. 

– hadoopfs -du[-s][-h]URI[URI...] • Displayssizesoffilesanddirectoriescontainedinthegivendirectoryorthelengthofafileincaseitsjustafile.

执行命令： ll -h 查看某些文件目录的大小

这个命令散仙测，某些时候，不太好使，故使用下面命令

du -sh * 查看空间文件占用情况：

yuminstall -y lrzsz




找到文件中包含的块:
%hadoop fsck /user/term/part-001 -files -blocks -racks  选项显示机架的位置，和每个块数据节点的地址

命令行方式设定 • bin/hadoopfs-Ddfs.block.size=134217728 -put data.in /user/foo 

 坏块检查 – bin/hadoopfsck file -blocks -files -locations

文件合并
›hadoop fs-getmerge

使用：hadoop fs –checksum URI

功能：返回一个文件的检查值。

更多访问：http://www.cnblogs.com/xinlingyoulan/p/6019236.html

hive查表时如果字段显示比较少可以使用 !set maxWidth 2000来，然后再来查询

DataNode下线
›hadoop dfsadmin -report – 获取集群hdfs状况报告 

›hadoop dfsadmin -refreshNodes – 删除节点时使用 • 

dfs.hosts.exclude exclude_file • Exclude_file中加入要去除的节点 • 执行refreshNodes

HDFS Balance
›bin/start-balancer.sh -threshold 15

 ›bin/stop-balancer.sh 

› 各DataNode存储不均衡时使用 – 不同机器之间 – 同机器不同磁盘之间无法通过这种方法

balance ›dfs.balance.bandwidthPerSec

transwarp -t -h localhost

beeline -u jdbc:hive2://HADOOP-01:10000/default -n hive

beeline -u 'jdbc:inceptor2://ipaddress:10000/wahjkkkq'

hadoop fs -text numbers.seq | head   -text选项可以以文本的形式显示顺序文件

show partitions 查看有哪些分区

对文件进行存档

先列出文件

hadoop fs -lsr /my/files

再存档

hadoop archive -archiveName file.har /my/files /my

通过distcp并行复制

hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar

hadoop fs -mkdir /tmp/input              在HDFS上新建文件夹

    Hadoop fs -put input1.txt /tmp/input  把本地文件input1.txt传到HDFS的/tmp/input目录下

   hadoop fs -get  input1.txt /tmp/input/input1.txt  把HDFS文件拉到本地

    hadoop fs -ls /tmp/output                  列出HDFS的某目录
    hadoop fs -cat /tmp/ouput/output1.txt  查看HDFS上的文件

    hadoop fs -rmr /home/less/hadoop/tmp/output  删除HDFS上的目录

   hadoop fs -copyFromLocal input/docs/quangle.txt /user/tom/quangle.txt

   

hadoop dfsadmin -report 查看HDFS状态，比如有哪些datanode，每个datanode的情况

   hadoop dfsadmin -safemode leave  离开安全模式

    hadoop dfsadmin -safemode enter  进入安全模式

1、把/home目录下面的mydata目录压缩为mydata.zip
zip -r mydata.zip mydata #压缩mydata目录
2、把/home目录下面的mydata.zip解压到mydatabak目录里面
unzip mydata.zip -d mydatabak
3、把/home目录下面的abc文件夹和123.txt压缩成为abc123.zip
zip -r abc123.zip abc 123.txt
4、把/home目录下面的wwwroot.zip直接解压到/home目录里面
unzip wwwroot.zip
5、把/home目录下面的abc12.zip、abc23.zip、abc34.zip同时解压到/home目录里面
unzip abc\*.zip
6、查看把/home目录下面的wwwroot.zip里面的内容
unzip -v wwwroot.zip
7、验证/home目录下面的wwwroot.zip是否完整
unzip -t wwwroot.zip
8、把/home目录下面wwwroot.zip里面的所有文件解压到第一级目录
unzip -j wwwroot.zip

主要参数

-c：将解压缩的结果
-l：显示压缩文件内所包含的文件
-p：与-c参数类似，会将解压缩的结果显示到屏幕上，但不会执行任何的转换
-t：检查压缩文件是否正确
-u：与-f参数类似，但是除了更新现有的文件外，也会将压缩文件中的其它文件解压缩到目录中
-v：执行是时显示详细的信息
-z：仅显示压缩文件的备注文字
-a：对文本文件进行必要的字符转换
-b：不要对文本文件进行字符转换
-C：压缩文件中的文件名称区分大小写
-j：不处理压缩文件中原有的目录路径
-L：将压缩文件中的全部文件名改为小写
-M：将输出结果送到more程序处理
-n：解压缩时不要覆盖原有的文件
-o：不必先询问用户，unzip执行后覆盖原有文件
-P：使用zip的密码选项
-q：执行时不显示任何信息
-s：将文件名中的空白字符转换为底线字符
-V：保留VMS的文件版本信息
-X：解压缩时同时回存文件原来的UID/GID

# tar -cvf /usr/local/auto_bak/test.tar /usr/local/test 仅打包，不压缩 
# tar -zcvf /usr/local/auto_bak/test.tar.gz /usr/local/test 打包后，以gzip压缩 在参数f后面的压缩文件名是自己取的，习惯上用tar来做，如果加z参数，则以tar.gz 或tgz来代表gzip压缩过的tar file文件

解压操作:
#tar -zxvf /usr/local/test.tar.gz

在终端输入：
whereis mysql 
回车，如果你安装好了Mysql，就会显示文件安装的地址，例如我的显示(安装地址可能会不同)

查询运行文件所在路径：
如果你只要查询文件的运行文件所在地址，直接用下面的命令就可以了(还是以Mysql为例)：
which mysql 
结果会显示：
/usr/bin/mysql

#显示所有文件（包含隐藏文件）
ls -a

#只显示隐藏文件
ls .
或者
ls -d .*

Hadoop 基本操作命令

　　假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。

启动与关闭

启动Hadoop

　　1.         进入HADOOP_HOME目录。

　　2.         执行sh bin/start-all.sh

关闭Hadoop

　　1.         进入HADOOP_HOME目录。

　　2.         执行sh bin/stop-all.sh

文件操作

　　Hadoop使用的是HDFS，能够实现的功能和我们使用的磁盘系统类似。并且支持通配符，如*。

查看文件列表

　　查看hdfs中/user/admin/aaron目录下的文件。

　　1.         进入HADOOP_HOME目录。

　　2.         执行sh bin/hadoop fs -ls /user/admin/aaron

　　这样，我们就找到了hdfs中/user/admin/aaron目录下的文件了。

　　我们也可以列出hdfs中/user/admin/aaron目录下的所有文件（包括子目录下的文件）。

　　1.         进入HADOOP_HOME目录。

　　2.         执行sh bin/hadoop fs -lsr /user/admin/aaron

创建文件目录

　　查看hdfs中/user/admin/aaron目录下再新建一个叫做newDir的新目录。

　　1.         进入HADOOP_HOME目录。

　　2.         执行sh bin/hadoop fs -mkdir /user/admin/aaron/newDir

删除文件

　　删除hdfs中/user/admin/aaron目录下一个名叫needDelete的文件

　　1.         进入HADOOP_HOME目录。

　　2.         执行sh bin/hadoop fs -rm /user/admin/aaron/needDelete

　　删除hdfs中/user/admin/aaron目录以及该目录下的所有文件

　　1.         进入HADOOP_HOME目录。

　　2.         执行sh bin/hadoop fs -rmr /user/admin/aaron

上传文件

　　上传一个本机/home/admin/newFile的文件到hdfs中/user/admin/aaron目录下

　　1.         进入HADOOP_HOME目录。

　　2.         执行sh bin/hadoop fs –put /home/admin/newFile /user/admin/aaron/

下载文件

　　下载hdfs中/user/admin/aaron目录下的newFile文件到本机/home/admin/newFile中

　　1.         进入HADOOP_HOME目录。

　　2.         执行sh bin/hadoop fs –get /user/admin/aaron/newFile /home/admin/newFile

查看文件

　　我们可以直接在hdfs中直接查看文件，功能与类是cat类似

　　查看hdfs中/user/admin/aaron目录下的newFile文件

　　1.         进入HADOOP_HOME目录。

　　2.         执行sh bin/hadoop fs –cat /home/admin/newFile

MapReduce Job操作

提交MapReduce Job

　　原则上说，Hadoop所有的MapReduce Job都是一个jar包。

　　运行一个/home/admin/hadoop/job.jar的MapReduce Job

　　1.         进入HADOOP_HOME目录。

　　2.         执行sh bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]

杀死某个正在运行的Job

　　假设Job_Id为：job_201005310937_0053

　　1.         进入HADOOP_HOME目录。

　　2.         执行sh bin/hadoop job -kill job_201005310937_0053

更多Hadoop的命令

　　上面介绍的这些Hadoop的操作命令是我们最常用的。如果你希望了解更多，可以按照如下的方式获取命令的说明信息。

　　1.         进入HADOOP_HOME目录。

　　2.         执行sh bin/hadoop

　　我们可以看到更多命令的说明信息：

　　Usage: hadoop [--config confdir] COMMAND

　　where COMMAND is one of:

　　namenode -format     format the DFS filesystem

　　secondarynamenode    run the DFS secondary namenode

　　namenode             run the DFS namenode

　　datanode             run a DFS datanode

　　dfsadmin             run a DFS admin client

　　fsck                 run a DFS filesystem checking utility

　　fs                   run a generic filesystem user client

　　balancer             run a cluster balancing utility

　　jobtracker           run the MapReduce job Tracker node

　　pipes                run a Pipes job

　　tasktracker          run a MapReduce task Tracker node

　　job                  manipulate MapReduce jobs

　　queue                get information regarding JobQueues

　　version              print the version

　　jar amp;$nbsp;           run a jar file

　　distcp copy file or directories recursively

　　archive -archiveName NAME * create a hadoop archive

　　daemonlog            get/set the log level for each daemon

　　or

　　CLASSNAME            run the class named CLASSNAME

　　Most commands print help when invoked w/o parameters.

8.在S-CRT下用ctrl+c 和ctrl+v：

Options---Global Options---Edit default Settings进去后点Terminal---Emulation然后点Mapped Keys，点中低部的，use  windows copy and paste key，点确认。

 

9.进入vi的命令： 

vi filename :打开或新建文件，并将光标置于第一行首 

vi +n filename ：打开文件，并将光标置于第n行首 

vi + filename ：打开文件，并将光标置于最后一行首 

vi +/pattern filename：打开文件，并将光标置于第一个与pattern匹配的串处 

 

10.移动光标类命令：

}：光标移至段落开头 

{：光标移至段落结尾 

nG：光标移至第n行首 

n+：光标下移n行 

n-：光标上移n行 

n$：光标移至第n行尾 

H ：光标移至屏幕顶行 

M ：光标移至屏幕中间行 

L ：光标移至屏幕最后行 

0：（注意是数字零）光标移至当前行首 

$：光标移至当前行尾 

 

1.跳到文本的最后一行：按“G”,即“shift+g”

2.跳到最后一行的最后一个字符 ： 先重复1的操作即按“G”，之后按“$”键，即“shift+4”。

3.跳到第一行的第一个字符：先按两次“g”，

5.vi加密。进入vi，输入":"  + "X" 之后就提示你输入两次密码。之后:wq 保存退出。再次进入时就提示你输入密码了。如果你不想要密码了，就:X 提示你输入密码时连续按两次回车，就搞定了

11.屏幕翻滚类命令： 

Ctrl+u：向文件首翻半屏 

Ctrl+d：向文件尾翻半屏 

Ctrl+f：向文件尾翻一屏  //好像是 r

Ctrl＋b；向文件首翻一屏 

 

12.搜索命令： 

/pattern：从光标开始处向文件尾搜索pattern 

?pattern：从光标开始处向文件首搜索pattern 

n：在同一方向重复上一次搜索命令 

N：在反方向上重复上一次搜索命令

kerberos安全方面

kinit hive

klist

kdestroy

 hdfs dfs -ls /inceptorsql1/user/hive/warehouse/

 hive --orcfiledump /inceptorsql1/tmp/delta_0497664_0497664

alter table tmp_test add partition (time='xxx') location '/inceptorsql1/tmp/time=xxx';


alter table tmp_test add partition (time='xxx') location 'hdfs:/inceptorsql1time=xxx';

 hdfs dfs -ls /inceptorsql1/user/hive/warehouse/

 hive --orcfiledump /inceptorsql1/tmp/delta_0497664_0497664

alter table tmp_test add partition (time='xxx') location '/inceptorsql1/tmp/time=xxx';


alter table tmp_test add partition (time='xxx') location 'hdfs:/inceptorsql1time=xxx';

kadmin.local -q "listprincs hbase*"

 hdfs dfs -ls /inceptorsql1/user/hive/warehouse/

 hive --orcfiledump /inceptorsql1/tmp/delta_0497664_0497664

alter table tmp_test add partition (time='xxx') location '/inceptorsql1/tmp/time=xxx';


alter table tmp_test add partition (time='xxx') location 'hdfs:/inceptorsql1time=xxx';