linux系统管理的常用shell命令
参考文档：http://bbs.linuxtone.org/thread-16-1-1.html http://yunhaozou.org/perl-shell/162.html
1.显示消耗内存/CPU最多的10个进程
ps aux | sort -nk +4 | tail
ps aux | sort -nk +3 | tail
2.查看进程
按内存从大到小排列
按内存从大到小排列
ps -e -o "%C : %p : %z : %a"|sort -k5 -nr
3.按
cpu利用率从大到小排列
ps -e -o "%C : %p : %z : %a"|sort -nr
3.查看Apache的并发请求数及其TCP连接状态
netstat -n | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’
4. 查找占用磁盘
IO最多的进程
wget -c http://linux.web.psi.ch/dist/scientific/5/gfa/all/dstat-0.6.7-1.rf.noarch.rpm
dstat -M topio -d -M topbio
dstat -M topio -d -M topbio
5.找出自己最常用的10条命令及使用次数（或求访问最多的ip数）
sed -e ‘s/| /\n/g’ ~/.bash_history |cut -d ‘ ‘ -f 1 | sort | uniq -c | sort -nr | head
6.日志中第10个字段表示连接时间，求平均连接时间
cat access_log |grep “connect cbp” |awk ‘BEGIN{sum=0;count=0;}{sum+=$10;count++;}END{printf(“sum=%d,count=%d,avg=%f\n”,sum,count,
sum/count)}’
7.lsof命令
lsof abc.txt 显示开启文件abc.txt的进程
lsof -i :22 知道22端口现在运行什么程序
lsof -c abc 显示abc进程现在打开的文件
lsof -p 12 看进程号为12的进程打开了哪些文件
8.rsync命令（要求只同步某天的压缩文件，而且远程目录保持与本地目录一致）
/usr/bin/rsync -azvR –password-file=/etc/rsync.secrets `find . -name “*$yesterday.gz” -type f ` [email protected]::logbackup/13.21/
9.把目录下*.sh文件改名为*.SH
find . -name “*.sh” | sed ’s/\(.*\)\.sh/mv \0 \1.SH/’ |sh
find . -name “*.sh” | sed ’s/\(.*\)\.sh/mv & \1.SH/’|sh （跟上面那个效果一样）
10.ssh执行远程的程序，并在本地显示
ssh -n -l zouyunhao 192.168.2.14 “ls -al /home/zouyunhao”
11.shell段注释
:<<’echo hello,world!’
12.查看网卡是否有网线物理连接
/sbin/mii-tool
13.查看linux系统或者mysql错误码表示的意思，如查看13错误码表示的意思：
perror 13
14.删除
0字节文件
find -type f -size 0 -exec rm -rf {} \;
15.1.如何杀掉
mysql进程：
ps aux|grep mysql|grep -v grep|awk '{print $2}'|xargs kill -9
(从中了解到
awk的用途)
pgrep mysql |xargs kill -9
killall -TERM mysqld
kill -9 `cat /usr/local/apache2/logs/httpd.pid`
试试查杀进程
PID
16.显示运行3级别开启的服务:
16.显示运行3级别开启的服务:
ls /etc/rc3.d/S* |cut -c 15-
(从中了解到
cut的用途，截取数据)
17.如何在编写SHELL显示多个信息，用EOF
17.如何在编写SHELL显示多个信息，用EOF
cat << EOF
+--------------------------------------------------------------+
| === Welcome to Tunoff services === |
+--------------------------------------------------------------+
EOF
+--------------------------------------------------------------+
| === Welcome to Tunoff services === |
+--------------------------------------------------------------+
EOF
18. 取
IP地址：
ifconfig eth0|sed -n '2p'|awk '{print $2}'|cut -c 6-30
或者
:
ifconfig eth0 |grep "inet addr:" |awk '{print $2}'|cut -c 6-
或者
ifconfig | grep 'inet addr:'| grep -v '127.0.0.1' | cut -d: -f2 | awk '{ print $1}'
或者：
ifconfig eth0 | sed -n '/inet /{s/.*addr://;s/ .*//;p}'
Perl实现获取
IP的方法:
ifconfig -a | perl -ne 'if ( m/^\s*inet (?:addr:)?([\d.]+).*?cast/ ) { print qq($1\n); exit 0; }'
19.内存的大小
:
free -m |grep "Mem" | awk '{print $2}'
20 CPU负载 # cat /proc/loadavg
检查前三个输出值是否超过了系统逻辑CPU的4倍。
22 内存空间 # free
检查free值是否过低 也可以用 # cat /proc/meminfo
23 swap空间 # free
检查swap used值是否过高 如果swap used值过高，进一步检查swap动作是否频繁：
# vmstat 1 5
观察si和so值是否较大
24 磁盘空间 # df -h
检查是否有分区使用率(Use%)过高(比如超过90%) 如发现某个分区空间接近用尽，可以进入该分区的挂载点，用以下命令找出占用空间最多的文件或目录：
# du -cks * | sort -rn | head -n 10
25 磁盘I/O负载 # iostat -x 1 2
检查I/O使用率(%util)是否超过100%
26 网络负载 # sar -n DEV
检查网络流量(rxbyt/s, txbyt/s)是否过高
24 网络错误 # netstat -i
检查是否有网络错误(drop fifo colls carrier) 也可以用命令：# cat /proc/net/dev
25 网络连接数目 # netstat -an | grep -E “^(tcp)” | cut -c 68- | sort | uniq -c | sort -n
26 进程总数 # ps aux | wc -l
检查进程个数是否正常 (比如超过250)
27 可运行进程数目 # vmwtat 1 5
列给出的是可运行进程的数目，检查其是否超过系统逻辑CPU的4倍
28 进程 # top -id 1
观察是否有异常进程出现
29 网络状态 检查DNS, 网关等是否可以正常连通
30 用户 # who | wc -l
检查登录用户是否过多 (比如超过50个) 也可以用命令：# uptime
31 系统日志 # cat /var/log/rflogview/*errors
检查是否有异常错误记录 也可以搜寻一些异常关键字，例如：
# grep -i error /var/log/messages
# grep -i fail /var/log/messages
# egrep -i 'error|warn' /var/log/messages 查看系统异常
32 核心日志 # dmesg
检查是否有异常错误记录
34 打开文件数目 # lsof | wc -l
检查打开文件总数是否过多
35 日志 # logwatch ?print 配置/etc/log.d/logwatch.conf，将 Mailto 设置为自己的email 地址，启动mail服务 (sendmail或者postfix)，这样就可以每天收到日志报告了。
缺省logwatch只报告昨天的日志，可以用# logwatch ?print ?range all 获得所有的日志分析结果。
可以用# logwatch ?print ?detail high 获得更具体的日志分析结果(而不仅仅是出错日志)。
36.杀掉80端口相关的进程
lsof -i :80|grep -v "PID"|awk '{print "kill -9",$2}'|sh
37.清除僵死进程。
ps -eal | awk '{ if ($2 == "Z") {print $4}}' | kill -9
38.tcpdump 抓包 ，用来防止
80端口被人攻击时可以分析数据
# tcpdump -c 10000 -i eth0 -n dst port 80 > /root/pkts
39.然后检查
IP的重复数 并从小到大排序 注意 "-t\ +0" 中间是两个空格
# less pkts | awk {'printf $3"\n"'} | cut -d. -f 1-4 | sort | uniq -c | awk {'printf $1" "$2"\n"'} | sort -n -t\ +0
40.查看有多少个活动的
php-cgi进程
netstat -anp | grep php-cgi | grep ^tcp | wc -l
41.利用
iptables对应简单攻击
netstat -an | grep -v LISTEN | awk ‘{print $5}’ |grep -v 127.0.0.1|grep -v 本机
ip|sed “s/::ffff://g”|awk ‘BEGIN { FS=”:” } { Num[$1]++ } END { for(i in Num) if(Num>8) { print i} }’ |grep ‘[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}’| xargs -i[] iptables -I INPUT -s [] -j DROP
Num>8部分设定值为阀值，这条句子会自动将 netstat -an 中查到的来自同一ＩＰ的超过一定量的连接的列入禁止范围。 基中本机ip改成你的服务器的ip地址
42. 怎样知道某个进程在哪个 CPU上运行？
ps -eo pid,args,psr
43. 统计 var目录下文件以M为大小,以列表形式列出来。
find /var -type f | xargs ls -s | sort -rn | awk '{size=$1/1024; printf("%dMb %s\n", size,$2);}' | head
查找var目录下文件大于100M的文件，并统计文件的个数
find /var -size +100M -type f | tee file_list | wc -l
44. sed 查找并替换内容
sed -i "s/varnish/LTCache/g" `grep "Via" -rl /usr/local/src/varnish-2.0.4`
sed -i "s/X-Varnish/X-LTCache/g" `grep "X-Varnish" -rl /usr/local/src/varnish-2.0.4`
sed -i "s/X-Varnish/X-LTCache/g" `grep "X-Varnish" -rl /usr/local/src/varnish-2.0.4`
45. 统计目录下文件的大小（按 M打印显示）
du $1 --max-depth=1 | sort -n|awk '{printf "%7.2fM ----> %s\n",$1/1024,$2}'|sed 's:/.*/\([^/]\{1,\}\)$:\1:g'
46.关于 CND实施几个相关的统计
统计一个目录中的目录个数
ls -l | awk '/^d/' | wc -l
ls -l | awk '/^d/' | wc -l
统计一个目录中的文件个数
ls -l | awk '/^-/' | wc -l
ls -l | awk '/^-/' | wc -l
统计一个目录中的全部文件数
find ./ -type f -print | wc -l
find ./ -type f -print | wc -l
统计一个目录中的全部子目录数
find ./ -type d -print | wc -l
find ./ -type d -print | wc -l
统计某类文件的大小
:
find ./ -name "*.jpg" -exec wc -c {} \;|awk '{print $1}'|awk '{a+=$1}END{print a}'
find ./ -name "*.jpg" -exec wc -c {} \;|awk '{print $1}'|awk '{a+=$1}END{print a}'
47. 去掉第一列（如行号代码）
awk '{for(i=2;i<=NF;i++) if(i!=NF){printf $i" "}else{print $i} }' list
48.查看
PHP-CGI占用的内存总数：
total=0; for i in `ps -C php-cgi -o rss=`; do total=$(($total+$i)); done; echo "PHP-CGI Memory usage: $total kb"
49查看当前有哪些进程；查看进程打开的文件:
ps -A ；lsof -p PID
49查看当前有哪些进程；查看进程打开的文件:
ps -A ；lsof -p PID
50.统计每个单词出现的频率，并排序
awk '{arr[$1]+=1 }END{for(i in arr){print arr"\t"i}}' 文件名 | sort -r
51.列出当前文件夹目录大小，以G，M，K显示。
du -b --max-depth 1 | sort -nr | perl -pe 's{([0-9]+)}{sprintf"%.1f%s", $1>=2**30? ($1/2**30, "G"): $1>=2**20? ($1/2**20, "M"):$1>=2**10? ($1/2**10, "K"): ($1, "")}e'
shaw答案 ：du -hs $(du -sk ./`ls -F |grep /` |sort -nr |awk '{print $NF}')
也可 以实现，不过不是特别完美。但好记。
52.清空linux buffer cache
sync && echo 3 > /proc/sys/vm/drop_caches
53.将当前目录文件名全部转换成小写
for i in *; do mv "$i" "$(echo $i|tr A-Z a-z)"; done
53.消除vim中的^M的几种方法
1)dos2uninx filename
2)sed -e 's/^M//' filename
3)vim中 :s/^M//gc
4)col -bx < dosfile > newfile
5)tr -s "\r\n" "\n" < file > newfile
54. 清除所有arp缓存
arp -n|awk '/^[1-9]/ {print "arp -d "$1}'|sh
55. 绑定已知机器的arp地址
cat /proc/net/arp | awk '{print $1 " " $4}' |sort -t. -n +3 -4 > /etc/ethers
perl的
perl -ne 'm/^([^#][^\s=]+)\s*(=.*|)/ && printf("%-35s%s\n", $1, $2)' /etc/my.cnf
55.查看ssh暴力攻击的ip和攻击次数
grep -o '[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}' /var/log/secure | sort | uniq -c