常用的linux命令及示例(一)

系统的总结了一下工作中常用的linux命令,加强记忆,也方便需要的时候查找使用

工作中常用的linux命令总结

1. 清空缓存

	free - m  //查看系统内存使用情况,以MB的形式体现出来  

	集群节点碰到内存不够用的情况 :   echo 1 > /proc/sys/vm/drop_caches
	proc 进程   sys 系统 vm 虚拟机 
	参数含义 : 1.清空页缓存 2.释放dentries和inodes 3.释放所有缓存

释放完缓存之后的内存使用情况:

注意 :  这个目录默认是属于root用户,其它用户执行该操作可能会遇到权限问题!

2. 查询某个目录下面所有文件夹或者文件的详细大小

	du 目录名 //linux本地目录下面

![文件大小](https://img-blog.csdn.net/201809101806383?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDg2MTcwNw==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70

hadoop fs -du 目录名  //按照字节显示
hadoop fs -du -h  目录名 // 按照kb,G,M,TB这种来显示,工作中最常用的一种方式! 

hadoop fs -du -h -s 目录名 // 目录的总大小

3. 设置时间 :

对于没有配置时钟同步的机器可能需要用! 有时集群时差距过大时需要手动校准!
date  -s  10:12:13

4. 清空文件内容 & 文件重定向

echo ""  > 文件名 // 清空文件

head -n 5 xmr.txt  > xmr //将xmr.txt 文件的前5行重定向到  xmr文件里

5. 验证某个节点的某个端口号可以输入任何信息

	echo envi | nc ip地址 端口号
	echo envi | nc 192.168.1.54 4180  
	// 验证zookeeper的端口号是可以输入任何信息的 注: 我们集群的zookeeper端口号是4180,默认的是2181

6. 检测某个端口号,主机能够连接

telnet 主机ip  端口号  //检测某个端口

	ping 主机名 // 检测某个主机

7. 执行java jar包时指定主类

 java -cp  jar包名 主类包名+类名 参数  //指定主类
 注意: 如果jar包不在当前路径,要写绝对路径  

8. 查询当前操作系统内核版本

uname -a

	lsb_release -a //可列出所有版本信息

cat /etc/redhat-release //查询集群系统版本

9. 采用yum源来安装docker

yum install -y yum-utils   device-mapper-persistent-data   lvm2

注意 : 如果没有配置yum源该命令会报错

######10. 启动hive的方法:
在hive安装目录下的bin目录执行:
./hive --service metastore & (后台启动) 端口号 : 9083
./hive --service hiveserver2 & (后台启动) 端口号 : 10000

11. 变更文件夹或者是目录的拥有者

	 chown 用户名:工作组 文件夹或者是文件路径
	举例 : chown root:root test_xmr //把test_xmr文件夹的权限设置为 root用户, root组
	 chgrp -R  文件夹 工作组  // 变更工作组的权限  -R表示递归目录下所有文件
	举例 : chgrp -R  test_xmr hmaster //将test_xmr文件夹下面的工作组设置为hmaster

12. 查看linux拥有的用户名和组

    vi /etc/passwd
  ![这里写图片描述](https://img-blog.csdn.net/20180910191141409?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDg2MTcwNw==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)

13. 查看hdfs某个目录下面文件的数量和大小

	hadoop fs -count 目录名 //显示的结果为: 第一列: 文件夹个数 第二列: 文件数量 第三列: 文件大小 第四列: 文件目录

    hadoop fs -count -q 目录名

14. 动态监测文件的改变情况

一般应用于监测日志文件
    tail -f 文件名 
    举例 : tail -200f nohup.out // 动态监测nohup.out文件的后200行

######15. hive 查询的时候设置队列和reduce数量

    SET mapreduce.job.queuename=root.queue1;
    set mapred.reduce.tasks = 1;

16. 将一个文件夹下面所有文件的内容输出到指定的文件里

  cat /home/hmaster/xmr/3/* >  /home/hmaster/xmr/xmr.txt

17. 查询集群节点的健康状况

hadoop dfsadmin -report

18. 检查某个端口号被占用情况

netstat -tunlp | grep 端口号
举例 : netstat -tunlp | grep 56789 // 56789为集群私仓的端口号 这种显示结果说明被占用

19. 查询某个指定队列的任务运行情况

yarn application -list  //查询整个集群yarn任务的运行情况
yarn application -list | grep 队列名 //查询某个指定队列任务的运行情况

20. 将文件或者文件夹进行压缩

gzip 文件名   // 对单个文件进行.gz压缩, 压缩的结果会替换掉源文件
gunzip 文件名 //对.gz压缩文件进行解压
unzip  //对.zip文件进行解压,解压文件和源文件同时存在

21. 更改hdfs文件夹的用户权限

hadoop fs -chown -R hmaster /zmk2
// 首先需要切换到超级用户或者是想要修改权限文件夹的所属用户下
// 这里面hmaster 指的是 : 想要将文件夹权限给哪个用户
// /zmk2 指的是想要更改权限的hdfs的目录