【BASH】Linux30个常用命令技巧

在Unix/Linux下，高效工作方式不是操作图形页面，而是命令行操作，命令行意味着更容易自动化。使用过Linux系统的朋友应该都知道它的命令行强大之处。本文讲述了Linux下的查找,删除,打包,解压,查询及VIM等30个常用命令技巧。

01、Vim自动添加注释及智能换行

cat <<'EOF' >> $HOME/.vimrc
set autoindent
set tabstop=4
set shiftwidth=4
function AddTitle()
call setline(1,"#!/bin/bash")
call append(1,"#====================================================")
call append(2,"# Author: Abodu")
call append(3,"# Create Date: " . strftime("%Y-%m-%d"))
call append(4,"# Description: ")
call append(5,"#====================================================")
endf
map <F4> :call AddTitle()<cr>
EOF

打开文件后，按F4就会自动添加注释，省了不少时间!

02、查找并删除/data这个目录7天前创建的文件

#方法1
find /data -ctime +7 -exec rm -rf {} \;
#方法2
find /data -ctime +7 | xargs rm -rf

03、tar命令压缩排除某个目录

#--exclude参数为不包含某个目录或文件，后面也可以跟多个
tar zcvf data.tar.gz /data --exclude=tmp

04、查看tar包存档文件，不解压

# t是列出存档文件目录，f是指定存档文件
tar tf data.tar.gz

05、使用stat命令查看一个文件的属性

#访问时间（Access）、修改时间（modify）、状态改变时间（Change）
stat index.php
==>
Access: 2018-05-10 02:37:44.169014602 -0500
Modify: 2018-05-09 10:53:14.395999032 -0400
Change: 2018-05-09 10:53:38.855999002 -0400

06、批量解压tar.gz

# 方法1:
find . -name "*.tar.gz" -exec tar zxf {} \;
# 方法2:
for tar in *.tar.gz; do tar zxvf $tar; done
# 方法3:
ls *.tar.gz | xargs -i tar zxvf {}

07、筛除出文件中的注释和空格

# 方法1:
grep -vE "^(\s+?#|^)" httpd.conf
# 方法2:
sed -e '/^$/d' -e '/^#/d' httpd.conf > http.conf

# 方法3:
#-e 执行多条sed命令
sed -e '/^#/d;/^$/d'  httpd.conf > http.conf

# 方法4:
awk '/^[^#]/|/"^$"' httpd.conf
# 方法5:
awk '!/^#|^$/' httpd.conf

08、筛选/etc/passwd文件中所有的用户

# 方法1:
cat /etc/passwd |cut -d: -f1

# 方法2:
awk -F ":" '{print $1}' /etc/passwd

09、iptables网站跳转

#先开启路由转发(临时生效):
echo 1 > /proc/sys/net/ipv4/ip_forward

#内网访问外网(SNAT):
iptables –t nat -A POSTROUTING -s [内网IP或网段] -j SNAT --to [公网IP]

# 内网服务器要指向防火墙内网IP为网关
公网访问内网(公网端口映射内网端口--DNAT):
iptables –t nat -A PREROUTING -d [对外IP] -p tcp --dport [对外端口] -j DNAT --to [内网IP:内网端口]

内网服务器要配置防火墙内网IP为网关，否则数据包回不来。另外，这里不用配置SNAT，因为系统服务会根据数据包来源再返回去。

10、iptables将本机80端口转发到本地8080端口

iptables -t nat -A PREROUTING -p tcp --dport 80 -j REDIRECT --to-ports 8080

11、find命令查找文件并复制到/opt目录

# 方法1:
#  -exec执行后面命令，{}代表前面输出的结果，\;结束命令
find /etc -name httpd.conf -exec cp -rf {} /opt/ \;

# 方法2:
#  -i表示输出的结果由{}代替
find /etc -name httpd.conf |xargs -i cp {} /opt

12、查看根目录下大于1G的文件

find / -size +1024M

默认单位是b，可以使用其他单位如，C、K、M

13、插入一行到391行，包括特殊符号"/"

sed -i "391 s,^,AddType application/x-httpd-php .php .html," httpd.conf

14、查看服务器IP连接数

# -tun:-tu是显示tcp和udp连接，n是以IP地址显示
netstat -tun | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n

cut -d: -f1 选择性显示一行的内容

-d 指定:为分隔符，-f1 显示分隔符后的第一个字段。

uniq -c 报告或删除文中的重复行

-c 在输出行前面加上出现的次数

sort -n 根据不同类型进行排序

默认排序是升序，-r 参数改为降序，-n 是根据数值的大小进行排序

15、列出nginx日志访问最多的10个IP

# 方法1:
awk '{print $1}' access.log |sort |uniq -c|sort -nr |head -n 10

# 方法2:
awk '{a[$1]++}END{for(v in a)print v,a[v] |"sort -k2 -nr |head -10"}' access.log

16、显示nginx日志一天访问量最多的前10位IP

#方法1:
awk '$4>="[16/May/2017:00:00:01" && $4<="[16/May/2017:23:59:59"' access_test.log |sort |uniq -c |sort-nr |head -n 10

#方法2:
awk '$4>="[16/Oct/2017:00:00:01" && $4<="[16/Oct/2017:23:59:59"{a[$1]++}END{for(i in a){print a[i],i|"sort -k1 -nr |head -n 10"}}' access.log

17、获取当前时间前一分钟日志访问量

#方法1:
date=`date +%d/%b/%Y:%H:%M --date="-1 minute"`
awk -vd=$date '$0~d{c++}END{print c}' access.log

#方法2:
date=`date +%d/%b/%Y:%H:%M --date="-1 minute"`
awk -vd=$date '$4>="["d":00" && $4<="["d":59"{c++}END{print c}' access.log

#方法3:
grep `date +%d/%b/%Y:%H:%M --date="-1 minute"` access.log |awk 'END{print NR}'

#方法4:
start_time=`date +%d/%b/%Y:%H:%M:%S --date="-5 minute"`
end_time=`date +%d/%b/%Y:%H:%M:%S`
awk -vstart_time="[$start_time" -vend_time="[$end_time" '$4>=start_time && $4<=end_time{count++}END{print count}' access.log

18、找出1-255之间的整数

# 方法1:
ifconfig |grep -o '[0-9]\+' #+号匹配前一个字符一次或多次

# 方法2:
ifconfig |egrep -o '\<([1-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\>'

19、列出当前主机的IPv4的所有地址

# ip -4 a | sed -n '/inet /p' | awk '{printf("%-10s: %s\n",$NF,$2)}'

20、给文档增加开头和结尾说明信息

awk 'BEGIN{print "开头显示信息"}{print $1,$NF} END{print "结尾显示信息"}' /etc/passwd

awk 'BEGIN{printf " date   ip\n------------------\n"} {print $3,$4} END{printf "------------------\nend...\n"}' /var/log/messages

#结果:===>
date   ip
------------------
03:13:01 localhost
10:51:45 localhost
------------------
end...

21、查看网络状态命令

#查看所有网络连接
netstat -antp

#只查看监听的端口信息
netstat -lntp

#查看进程打开的文件句柄
lsof -p pid

#查看端口被哪个进程占用
lsof -i:80

22、生成8位随机字符串

# 方法1:
echo $RANDOM |md5sum |cut -c 1-8

# 方法2:
openssl rand -base64 4

# 方法3:
cat /proc/sys/kernel/random/uuid | cut -c 1-8

23、while死循环

#条件精确等于真，也可以直接用条件[ "1" == "1" ]，条件一直为真
while true; do
   ping -c 2 www.baidu.com
done

24、AWK格式化输出

#左对齐:
awk '{printf "%-15s %-10s %-20s\n",$1,$2,$3}' test.txt

#右对齐:
awk '{printf "%15s %10s %20s\n",$1,$2,$3}' test.txt

25、整数运算保留小数点

# 方法1:
echo 'scale=2; 10/3;'|bc #scale参数代表取小数点位数

# 方法2:
awk BEGIN'{printf "%.2f\n",10/3}'

26、数字求和

#比如有文件 a.txt 如下:
cat a.txt
10
23
53
56

#方法1:
sum=
while read num; do
    sum=`expr $sum + $num`
done < a.txt
echo $sum

# 方法2:
cat a.txt | awk '{sum+=$0} END{print sum}'

27、判断是否为数字（字符串判断也如此）

# 方法1: <字符串替换,若是替换了所有的0-9变成了空字符串说明就是全部是数字>
[ "P${num//[0-9]/}" == "P" ] && echo yes || echo no

# 方法2:
# [[]] 比 [] 更加通用，支持模式匹配=~和字符串比较使用通配符`
[[ $num =~ ^[0-9]+$ ]] && echo yes || echo no

^ $ ： 从开始到结束是数字才满足条件

=~ ：一个操作符，表示左边是否满足右边（作为一个模式）正则表达式

28、删除换行符并将空格替换别的字符

cat a.txt |xargs echo -n | sed 's/[ ]/|/g' #-n 不换行

cat a.txt |tr -d '\n' #删除换行符

29、查看文本中20至30行内容（总共100行)

# 方法1:
awk '{if(NR > 20 && NR < 31) print $0}' test.txt

# 方法2:
sed -n '20,30p' test.txt

# 方法3:
head -30 test.txt |tail -10

30、文本中两列位置替换

# 若有文件 a.txt 内容如下:(cat a.txt)
60.35.1.15   www.baidu.com
45.46.26.85   www.sina.com.cn

#第2列 与 第1列 交换
awk '{print $2"\t"$1}' a.txt