效率提升多倍, 推荐下值得收藏的 40 个命令总结

1 删除0字节文件

find -type f -size 0 -exec rm -rf {} \;

2 查看进程
按内存从大到小排列

PS -e -o "%C : %p : %z : %a"|sort -k5 -nr

3 按 CPU 利用率从大到小排列

ps -e -o "%C : %p : %z : %a"|sort -nr

4 打印 cache 里的URL

grep -r -a jpg /data/cache/* | strings | grep "http:" | awk -F'http:' '{print "http:"$2;}'

5 查看 http 的并发请求数及其 TCP 连接状态:

netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

6 sed -i '/Root/s/no/yes/' /etc/ssh/sshd_config sed 在这个文里 Root 的一行,匹配 Root 一行,将 no 替换成 yes。

7 如何杀掉 MySQL 进程

ps aux |grep mysql |grep -v grep  |awk '{print $2}' |xargs kill -9 (从中了解到awk的用途)

killall -TERM mysqld

kill -9 `cat /usr/local/apache2/logs/httpd.pid`   试试查杀进程PID

8 显示运行 3 级别开启的服务:

ls /etc/rc3.d/S* |cut -c 15-   (从中了解到cut的用途,截取数据)

9 如何在编写 SHELL 显示多个信息,用 EOF

cat << EOF
+--------------------------------------------------------------+
|       === Welcome to Tunoff services ===                |
+--------------------------------------------------------------+
EOF

10 for 的巧用(如给 MySQL 建软链接)

cd /usr/local/mysql/bin
for i in *
do ln /usr/local/mysql/bin/$i /usr/bin/$i
done

11取 IP 地址

ifconfig eth0 |grep "inet addr:" |awk '{print $2}'| cut -c 6-  
或者
ifconfig | grep 'inet addr:'| grep -v '127.0.0.1' | cut -d: -f2 | awk '{ print $1}'

12 内存的大小:

free -m |grep "Mem" | awk '{print $2}'

13

netstat -an -t | grep ":80" | grep ESTABLISHED | awk '{printf "%s %s\n",$5,$6}' | sort

14 查看 Apache 的并发请求数及其 TCP 连接状态:

netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

15因为同事要统计一下服务器下面所有的 jpg 的文件的大小,写了个 SHELL 给他来统计。原来用 xargs 实现,但他一次处理一部分。搞的有多个总和……,下面的命令就能解决。

find / -name *.jpg -exec wc -c {} \;|awk '{print $1}'|awk '{a+=$1}END{print a}'

CPU 的数量(多核算多个CPU,cat /proc/cpuinfo |grep -c processor)越多,系统负载越低,每秒能处理的请求数也越多。

16 CPU负载 检查前三个输出值是否超过了系统逻辑 CPU 的4倍。

cat /proc/loadavg

17 CPU负载 检查 %idle 是否过低(比如小于5%)。

mpstat 1 1

18 内存空间 检查 free 值是否过低,也可以用 # cat /proc/meminfo

free

19 SWAP 空间

free

检查 swap used 值是否过高,如果 swap used 值过高,进一步检查 swap 动作是否频繁:

vmstat 1 5

观察 si 和 so 值是否较大

20 磁盘空间

df -h

检查是否有分区使用率(Use%)过高(比如超过90%)如发现某个分区空间接近用尽,可以进入该分区的挂载点,用以下命令找出占用空间最多的文件或目录:

du -cks * | sort -rn | head -n 10

21 磁盘 I/O 负载

iostat -x 1 2

检查I/O使用率(%util)是否超过 100%

22 网络负载

sar -n DEV

检查网络流量(rxbyt/s, txbyt/s)是否过高 (rxkB/s txkB/s)

23 网络错误

netstat -i

检查是否有网络错误(drop fifo colls carrier),也可以用命令:

# cat /proc/net/dev

24 网络连接数目

netstat -an | grep -E '^(tcp)' | cut -c 68- | sort | uniq -c | sort -n

25 进程总数 检查进程个数是否正常 (比如超过250)

ps aux | wc -l

26 可运行进程数目 列给出的是可运行进程的数目,检查其是否超过系统逻辑 CPU 的 4 倍

vmstat 1 5

https://www.cnblogs.com/ggjucheng/archive/2012/01/05/2312625.html

27 进程 观察是否有异常进程出现

top -id 1

28 网络状态,检查DNS,网关等是否可以正常连通

29 用户

who | wc -l

检查登录用户是否过多 (比如超过50个) 也可以用命令:

# uptime。

30 系统日志

# cat /var/log/rflogview/*errors

检查是否有异常错误记录 也可以搜寻一些异常关键字,例如:

grep -i error /var/log/messages
grep -i fail /var/log/messages

31 核心日志 检查是否有异常错误记录。

dmesg

32 系统时间 检查系统时间是否正确。

date

33 打开文件数目 检查打开文件总数是否过多。

lsof | wc -l

34 日志

# yum -y install logwatch
# logwatch –print

配置 /etc/log.d/logwatch.conf,将 Mailto 设置为自己的 email 地址,启动 mail 服务(sendmail或者postfix),这样就可以每天收到日志报告了。
缺省 logwatch 只报告昨天的日志,可以用 # logwatch –print –range all 获得所有的日志分析结果。
可以用 # logwatch –print –detail high 获得更具体的日志分析结果(而不仅仅是出错日志)。
http://c.biancheng.net/view/1108.html

35 杀掉80端口相关的进程

lsof -i :80|grep -v “ID”|awk ‘{print “kill -9”,$2}’|sh

36 清除僵死进程

ps -eal | awk '{ if ($2 == "Z") {print $4}}' | kill -9

37 tcpdump 抓包,用来防止80端口被人攻击时可以分析数据

tcpdump -c 10000 -i eth0 -n dst port 80 > /root/pkts

38 然后检查IP的重复数并从小到大排序 注意 “-t\ +0” 中间是两个空格

# less pkts | awk {'printf $3"\n"'} | cut -d. -f 1-4 | sort | uniq -c | awk {'printf $1" "$2"\n"'} | sort -n -t\  +0

39 查看有多少个活动的 php-cgi 进程

netstat -anp | grep php-cgi | grep ^tcp | wc -l

40 查看系统自启动的服务

chkconfig --list | awk '{if ($5=="3:on") print $1}'

41 kudzu 查看网卡型号

kudzu --probe --class=network

grep是每个Linux发行版都预装的一个强有力的文件模式搜索工具。无论何种原因,如果你的系统没有预装它的话,你可以很容易的通过系统的包管理器来安装它(Debian/Ubuntu系中的apt-get和RHEl/CentOS/Fedora系中的yum)。

$ sudo apt-get install grep #Debian/Ubuntu $ sudo yum install grep #RHEL/CentOS/Fedora

我发现使用现实世界中的真实例子让你投身其中是让你接触grep命令的最容易方式。

1.搜索和寻找文件

假设你已经在你的电脑上安装了一个全新的Ubuntu,然后你打算卸载Python。你浏览网页寻找教程,但是你发现存在两个不同版本的Python在使用,而你不知道你的Ubuntu安装器到底在你的系统中安装了哪个版本的Python,也不知道它安装了哪些模块。解决这个烦恼只需简单的运行以下命令:

$ sudo dpkg -l | grep -i python

输出例子

ii python2.7         2.7.3-0ubuntu3.4Interactive high-level object-oriented language(version2.7)
ii python2.7-minimal2.7.3-0ubuntu3.4Minimal subset of the Python language(version2.7)
ii python-openssl 0.12-1ubuntu2.1  Python wrapper around the OpenSSL library
ii python-pam 0.4.2-12.2ubuntu4APython interfacetothe PAM library

首先,我们运行dpkg -l列出你系统上安装的.deb包。接着,我们使用管道将输出结果传输给命令grep -i python,这一步可以简单解释为把结果传输给grep然后过滤出所有含有python的项,并返回结果。–i选项用于忽略大小写,因为 grep 是大小写敏感的。使用选项-i是个好习惯,除非你打算进行更细节的搜索。

2.搜索和过滤文件

grep还可以在一个或多个文件里用于搜索和过滤。让我们来看一个这样的情景:

你的Apache网页服务器出现了问题,你不得不从许多专业网站里找一个发帖询问。好心回复你的人让你粘贴上来你的/etc/apache2/sites-available/default-ssl文件内容。假如你能移除掉所有的注释行,那么对你,对帮你的人,以及所有阅读该文件的人,不是更容易发现问题吗?你当然可以很容易的做到!只需这样做就可以了:

$ sudo grep -v "#" /etc/apache2/sites-available/default-ssl

选项-v是告诉grep命令反转它的输出结果,意思就是不输出匹配的项,做相反的事,打印出所有不匹配的项。这个例子中,有#的是注释行(译注:其实这个命令并不准确,包含“#”的行不全是注释行。关于如何精确匹配注释行,可以了解更多的关于正则表达式的内容。)。

3.找出所有的mp3文件

grep命令对于过滤来自于标准输出的结果非常有用。例如,假设你的一个文件夹里面全是各种格式的音乐文件。你要找出艺术家jayZ的所有mp3格式的音乐文件,里面也不要有任何混合音轨。使用find命令再结合管道使用grep就可以完成这个魔法:

$ sudo find . -name ".mp3" | grep -i JayZ | grep -vi "remix""

在这个例子中,我们使用find命令打印出所有以.mp3为后缀名的文件,接着将其使用管道传递给grep -i过滤和打印出名字为“JayZ”的文件,再使用管道传送给grep -vi以便过滤掉含有“remix”的项。

4.在搜索字符串前面或者后面显示行号

另外两个选项是-A和-B之间的切换,是用以显示匹配的行以及行号,分别控制在字符串前或字符串后显示的行数。Man页给出了更加详细的解释,我发现一个记忆的小窍门:-A=after、-B=before。

$ sudo ifconfig | grep -A 4 etho $ sudo ifconfig | grep -B 2 UP

5.在匹配字符串周围打印出行号

grep命令的-C选项和例4中的很相似,不过打印的并不是在匹配字符串的前面或后面的行,而是打印出两个方向都匹配的行(译注:同上面的记忆窍门一样:-C=center,以此为中心):

$ sudo ifconfig | grep -C 2 lo

6.计算匹配项的数目
这个功能类似于将grep输出的结果用管道传送给计数器(wc程序),grep内建的选项可以达到同样的目的:

$ sudo ifconfig | grep -c inet6

7.按给定字符串搜索文件中匹配的行号
当你在编译出错时需要调试时,grep命令的-n选项是个非常有用的功能。它能告诉你所搜索的内容在文件的哪一行:

$ sudo grep -n "main" setup.py

8.在所有目录里递归的搜索
假若你要在当前文件夹里搜索一个字符串,而当前文件夹里又有很多子目录,你可以指定一个-r选项以便于递归的搜索:

$ sudo grep -r “function” *

9.进行精确匹配搜索
传递-w选项给grep命令可以在字符串中进行精确匹配搜索(译注:包含要搜索的单词,而不是通配)。例如,像下面这样输入:

$ sudo ifconfig | grep -w “RUNNING”

将打印出含有引号内匹配项的行。另外,你还可以试一下这个:

$ sudo ifconfig | grep -w “RUN”

搜索这个匹配项时,若搜索的东西里面没有这样的一个单独的单词,将什么也不会返回。(欢迎关注公众号:网络工程师阿龙,提升网络技术。)

10.在Gzip压缩文件中搜索
我们还要关注一下grep的衍生应用。第一个是zgrep,这个与zcat很相似,可以用于gzip压缩过的文件。它有与grep相似的命令选项,使用方式也一样:

$ sudo zgrep -i error /var/log/syslog.2.gz

11.在文件中匹配正则表达式
egrep是另一个衍生应用,代表着“扩展全局正则表达式”。它可以识别更多的正则表达式元字符,例如at + ? | 和()。在搜索源代码文件时,egrep是一个非常有用的工具,还有其他的一些零碎代码文件的搜索需要,使得这样的搜索能力成为必需。可以在grep命令中使用选项-E来启用它。

$ sudo grep -E

12.搜索一个固定匹配字符串
fgrep用于在一个文件或文件列表中搜索固定样式的字符串。功能与grep -F同。fgrep的一个通常用法为传递一个含有样式的文件给它:

$ sudo fgrep -f file_full_of_patterns.txt file_to_search.txt

这仅仅是grep命令的开始,你可能已经注意到,它对于实现各种各样的需求简直是太有用了。除了这种我们运行的这种只有一行的命令,grep还可以写成cron任务或者自动的shell脚本去执行。保持好奇心,试验一下man页的各个选项,为实现你的目的写出一些grep表达式吧。

常用正则表达式
1.匹配中文字符的正则表达式: [\u4e00-\u9fa5]

评注:匹配中文还真是个头疼的事,有了这个表达式就好办了

2.匹配双字节字符(包括汉字在内):[^\x00-\xff]

评注:可以用来计算字符串的长度(一个双字节字符长度计2,ASCII字符计1)

3.匹配空白行的正则表达式:\n\s*\r

评注:可以用来删除空白行

4.匹配 HTML 标记的正则表达式:<(\S?)[^>]>.?|<.? />

评注:网上流传的版本太糟糕,上面这个也仅仅能匹配部分,对于复杂的嵌套标记依旧无能为力

5.匹配首尾空白字符的正则表达式:^\s|\s$

评注:可以用来删除行首行尾的空白字符(包括空格、制表符、换页符等等),非常有用的表达式

6.匹配Email地址的正则表达式:

\w+([-+.]\w+)@\w+([-.]\w+).\w+([-.]\w+)*
评注:表单验证时很实用

7.匹配网址URL的正则表达式:[a-zA-z]+://[^\s]*

评注:网上流传的版本功能很有限,上面这个基本可以满足需求

8.匹配帐号是否合法(字母开头,允许5-16字节,允许字母数字下划线):^[a-zA-Z][a-zA-Z0-9_]{4,15}$

评注:表单验证时很实用

9.匹配国内电话号码:\d{3}-\d{8}|\d{4}-\d{7}

评注:匹配形式如 0511-4405222 或 021-87888822

10.匹配腾讯QQ号:[1-9][0-9]{4,}

评注:腾讯QQ号从10000开始

11.匹配中国邮政编码:[1-9]\d{5}(?!\d)

评注:中国邮政编码为6位数字

12.匹配×××:\d{15}|\d{18}

评注:中国的×××为15位或18位

13.匹配ip地址:\d+.\d+.\d+.\d+

评注:提取 IP 地址时有用

14.匹配特定数字:

^[1-9]\d*$   //匹配正整数
^-[1-9]\d*$  //匹配负整数
^-?[1-9]\d*$  //匹配整数
^[1-9]\d*|0$ //匹配非负整数(正整数 + 0)
^-[1-9]\d*|0$  //匹配非正整数(负整数 + 0)
^[1-9]\d*\.\d*|0\.\d*[1-9]\d*$  //匹配正浮点数
^-([1-9]\d*\.\d*|0\.\d*[1-9]\d*)$ //匹配负浮点数
^-?([1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0)$ //匹配浮点数
^[1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0$  //匹配非负浮点数(正浮点数 + 0)
^(-([1-9]\d*\.\d*|0\.\d*[1-9]\d*))|0?\.0+|0$ //匹配非正浮点数(负浮点数 + 0)

评注:处理大量数据时有用,具体应用时注意修正

15.匹配特定字符串:

^[A-Za-z]+$ //匹配由26个英文字母组成的字符串
^[A-Z]+$ //匹配由26个英文字母的大写组成的字符串
^[a-z]+$ //匹配由26个英文字母的小写组成的字符串
^[A-Za-z0-9]+$ //匹配由数字和26个英文字母组成的字符串
^\w+$ //匹配由数字、26个英文字母或者下划线组成的字符串

转发自
https://mp.weixin.qq.com/s?__biz=MzA4NzQzMzU4Mg==&mid=2652974286&idx=3&sn=443fa2eec1684a4ea76d1024f7625742&chksm=8bec04cfbc9b8dd907875f731c19d7cf9fc9e493dd5e73a5e3f528caebc75e667849e109aa67&scene=178&cur_album_id=2037040865751154688#rd

你可能感兴趣的:(效率提升多倍, 推荐下值得收藏的 40 个命令总结)