linux常用命令和shell编程
目录
★shell编程
1.变量
2.特有命令
3.比较语句
4.算术计算语句
5.大括号扩展
6.控制语句
7.函数
★linux基本命令
1.命令语法
2.帮助命令
3.系统状态命令
4.通用命令
5.文件和目录操作命令
6.用户帐号管理命令
7.进程管理命令
8.磁盘和设备管理命令
9.网络管理命令
10.常用应用程序
11. 使用软件包管理器一键式安装软件包和依赖
12.开放源代码的编译使用
★Red Hat Linux的图形界面
★文件布局详解
一、根目录详解
二、部分子目录详解
1./usr目录的子目录
2./var目录的子目录
3./dev目录的子目录
4./proc目录的内容
5.Bash配置：
6.重要文件和目录
7.重要的环境变量
★VMWare网络配置
1.桥接方式(bridge) :
2.共享方式(nat) :
3.私有方式(host-only):
★工作中常用的命令详解
1.从其他机器拷贝文件夹
2.查看哪个程序在用特定端口
3.实时监控日志文件内容
4.查看指定用户拥有的进程
5.查看磁盘空间使用情况
6.查找某文件中出现指定字符串的行
7.查看内存使用情况
8.查看系统信息
9.查看当前路径下的文件/文件夹大小
10.变更为其它使用者的身份
11.远程登陆
12.不挂断地运行命令（即使关闭终端连接）
13.查看文件的行数
14.比较两个文件的不同之处
15.杀死进程
16.在SecureCRT中把文件传给本机的‘我的文档’目录下
17.把本机文件传给SecureCRT中当前机器的当前目录
18.Vi文本编辑器
19.文件编码转换
20.文本抽取
21.非交互性文本流编辑器
22.将文件中的记录排序
23.去除文本文件的重复行
24.连接两个文本文件
25.从文本文件中剪切列或域
26.将两个文本文件按列粘贴在一起
27.将大文件进行分割
29.查找文件
30.压缩包操作
31.计算文件的md5码
32.向服务器发送POST或GET请求
33.将上一个命令的结果作为参数，分组使用进行操作
34.录制执行命令的脚本为文本文件
35.替换操作
36.文件名操作和批量重命名
37.检查拼写
38.查找两个文件内容相同的行
39.对文本文件按行进行循环处理
40.倒序单词或字符
41. 定时任务
42. core文件的设置
43. 执行脚本的绝对路径
44. 调试shell命令
45. 打印彩色输出
46. 数学运算
47. BASE64编解码
48. 对程序输出中的特定关键字进行高亮显示
49. 如何追查服务器的问题现场
50. 单行编写for循环语句
51. 把字符串转为数组和关联数组
52. atnodes和tonodes等批量操作工具
53. 批量执行一个文件里命令行
54. 完成对json的操作
55. windows换行CRLF和linux换行LF转换
56. Java相关问题的排查工具和命令
jps
jstack
jinfo
jmap
jstat
dmesg
57. 进度条函数
58. 把批量机器表示形式处理为机器列表
Red Hat Linux 9 编程开发与网络管理 冉林仓 电子工业出版社 2006 (将linux系统的各种情况和dos系统做了对比)
UNIX基础教程 龚汉明等 清华大学出版社 2007
Linux应用开发技术详解 范永开等 人民邮电出版社 2006
Linux Shell 脚本攻略 Sarath Lakshman 人民邮电出版社 2011
在线linux：http://bellard.org/jslinux/
★shell编程
#!/bin/bash 指定了shell脚本的执行shell
使用bash命令来运行脚本时，-v和-x选项可以显示输入行和命令。
1.变量
变量名区分大小写，无须声明，可以直接赋值；引用变量需要在变量前面加$符号。注意：直接赋值时变量和=之间不带空格，如'var=100'。
如果需要用变量和其他字符组成新的字符串，可以把变量用{}括起来。比如“I'm ${name}.”
对于未赋值的变量，bash会以空值对待，也可以使用unset命令来清除给变量赋的值。
数组形式为：变量名[下标]=值，或者 变量名=(val1 val2 val3)，或者 array=([index1]=val1 [index2]=val2 [index3]=val3)。下标可以用字符做索引，则为关联数组。
使用readonly来定义只读变量，该变量的值不能被改变，只能unset来删除。
declare（或typeset，兼容Korn shell，bash推荐使用declare）命令设置变量，-r 只读，-i 整型， -a 设置为数组。
export可以把变量输出到环境中，以使其他程序也可以使用。相反，使用local声明的变量是局部变量，仅供在当前函数内使用。
特定shell变量：$0当前命令对应的可执行文件名；$1-$9命令参数；$#参数个数；$*所有参数；$@所有参数，并且每个参数以'括住；$$当前进程ID号；$?最后的命令的退出状态，如果正常退出则返回0，反之为非0值。
变量扩展修饰符：
a) ${var:-val} 如果变量var已经初始化并且值非空，则返回$var的值，否则返回值val
b) ${var:=val} 该表达式始终返回$var的值，如果变量var没有初始化或者值为空，则先设置$var的值为val，再返回$var的值。
c) ${var:+val} 如果变量var已经初始化并且值非空，则返回值val，否则返回空。
d) ${var:?val} 如果变量var已经初始化并且值非空，则返回$var的值，否则打印值val（一般是个说明）并退出shell。
e) ${var:offset} 返回变量var中从offset开始到末尾的子串
f) ${var:offset:length} 返回变量var中，从offset开始，长度为length的子串
g) ${#var} 获取变量长度
h) ${var%parttern} 通配符从右向左最小匹配，从var中删除通配符所匹配的字符串，即保留了var的左侧部分；其中匹配符parttern非正则表达式，仅仅是以*来表示通配符。
i) ${var%%pattern} 从右向左最大匹配后删除；
j) ${var#pattern} 通配符从左向右最小匹配，从var中删除通配符所匹配的字符串，即保留了var的右侧部分；
k) ${var##pattern} 从左向右最大匹配后删除。
数组的操作：
a) 数组长度：${#array[*]}
b) 获取数组所有值：${array[*]} 或 ${array[@]}
c) 获取数组所有索引：${!array[*]} 或 ${!array[@]}
d) 遍历数组：
myArr=('a' 'b')
for var in ${myArr[@]}
do
echo $var
done
重要的环境变量：
/proc/$$/environ 程序运行的环境变量，以\0分割，可以 | tr '\0' '\n' 显示为按行分割
$PATH 执行路径
$HOME 当前用户的主目录
$PWD 当前工作路径
$USER 当前使用的帐户名
$UID 当前使用的UID，如果非0，则不是root用户
$SHELL 执行当前脚本使用的shell名称
$PS1 Bash提示字符串，默认为"[\u@\H \W]\$"
$IFS 内部字段分隔符，是for循环等的数据流划分成不同数据元素的定界符。默认是空，表示以换行，空格或制表符为分隔符。
$RANDOM 随机值
2.特有命令
: 空,永远返回true,可用于while循环作为条件
shift 可以后跟一个数字n来左移n个参数
read 从输入设备读入变量值,后必须跟一个变量名
echo 显示信息
eval 它把参数连接成一个命令让shell执行
exec 执行命令
return/break/continue 在函数和循环中使用
3.比较语句
使用test expression或[ expression ]形式.
注意：
1. 在bash语法中，if语句中应该使用[[ ]]进行判断。注意：需要使用[ ]才能支持逻辑操作的与、或、非。
2. 对字符串进行判断时，一定要使用""括住变量，而不能直接判断变量，否则会得到错误的结果。例如$nu; 则[ -n $nu ]为真；[ -n "$nu" ]为假。
3. [[ ]]和其内容之内的前后之间需要有空格，例如if [[ "$1" = "xxx" ]]是可以的，在if和[[之间，[[和"$1"之间，=前后，"xxx"和]]之间，都是有空格的。
4. 正则判断=~在某些shell下不好用，建议用echo $line | grep -q "$key"; if [[ $? ]];then ... 来替代。
字符串比较：比较两个字符串内容是否相同可以直接使用=或!=操作符。选项-n用于判断字符串是否非空。选项-z用于判断字符串是否为空。使用=~来判断正则匹配，比如[ "${line}" =~ ".*${keywd}.*" ]来判断line中是否包含keywd。
数值比较：使用选项-eq,-ne,-lt,-gt,-le,-ge来判断两个数值之间的大小。
文件操作：选项-d,-f,-L分别用于判断对象类型是否是目录，文件和符号链接。选项-r,-w,-x分别用于判断文件属性是否是可读，可写，可执行。选项-e用来判断文件是否存在，选项-s用来判断文件长度是否大于零。选项-n用来判断第一个文件是否比第二个文件新（根据修改日期）。
逻辑操作：使用选项-a,-o,!来表示与，或，非的逻辑操作。
4.算术计算语句
使用let expression或(( expression ))形式
可以在表达式里使用多种操作符,如+,-,*,/,%,<=,>=,<,>,==,!=,=等
注：返回的是一个变量，故赋值前要加$符号，使用类似以下方式赋值：
var=100
var=$(($var+1))
5.大括号扩展
举例：
>echo {1..9}
1 2 3 4 5 6 7 8 9
>echo {9..1}
9 8 7 6 5 4 3 2 1
>echo {a..f}
a b c d e f
>echo {f..a}
f e d c b a
>echo {1..9..2} #步阶为2，mac上不支持
1 3 5 7 9
>echo {9..1..2}
9 7 5 3 1
>echo {a..f..2}
a c e
>echo {f..a..2}
f d b
>echo {a,x}
a x
>echo {a,x}.txt
a.txt x.txt
>echo plain{1..5}.txt
plain1.txt plain2.txt plain3.txt plain4.txt plain5.txt6.控制语句
使用
for循环语法格式如下：
for var in list
do
...
done
以上语句对list列表中以换行，空格，制表符分隔的对象实行遍历。如果需要可以通过改变IFS的值来更改分割符，例如 IFS=, 即以逗号做分隔符，可以处理类似 list="one,two,three" 的情况。
while循环语法格式如下：
while condition
do
...
done
当条件为真时循环执行。
until循环语法格式如下：
until condition
do
...
done
当条件为假时循环执行。
if语句语法如下：
if cond1
then
...
elif cond2
then
...
else
...
fi
case语句语法如下：
case string in
str1|str2)
...
;;
str3)
...
;;
*)
...
;;
esac
select语句语法如下：
select name in list
do
... #一般在这里使用case
done
7.函数
函数定义的基本格式如下：
function name
{
...
}
函数调用的形式类似于普通的命令，也可以加参数。并且函数可以采用递归形式。
★linux基本命令
1.命令语法
" " 双引号表示整个引号内的内容是一个完整字符串，如果字符串中包含环境变量，则会在执行时被替换成环境变量对应的内容
' ' 单引号也表示整个引号内的内容是一个完整字符串，但不会对环境变量进行替换
` ` 反引号括起来的内容被作为命令行处理，执行的结果用来代替整个反引号所括起来的内容.也可以使用$(cmd)形式
; 用来在命令行中分隔多个命令，多个命令会顺序执行，但前一个命令是否成功执行并不会影响后一个命令的执行
&& 也可以分隔多个命令,只有前一个命令成功执行才会再执行下一个命令
> 输出重定向字符，注：>相当于1>，即标准输出的重定向；2>表示标准错误的重定向；&>或>xx.txt 2>&1表示合并stdout和stderr结果，然后再重定向；完全屏蔽输出使用“>/dev/null 2>&1”
< 输入重定向字符
>> 重定向追加字符
| 管道符,将一个命令的输出传送给另一个命令作为输入
& 位于命令行的末尾,表示后台处理,返回的是命令的PID
2.帮助命令
man 显示详细帮助。man查看的文档保存在usr/share/man目录下的各个子目录中以.gz格式存储。此外，还可以在usr/share/doc和usr/doc目录下找到大量的FAQs和How-To操作指南。也可以在命令后加--help选项来实现相同的功能.
whereis 用于查找命令，帮助信息等所在的位置，仅限于内部命令；whatis 用于显示命令的简单描述，是取自帮助信息，故也只能用于内部命令。
which 用于查找命令或执行文件的位置，也会给出别名命令的真实命令和位置。
type 查询命令类型，对应非别名命令（内部命令或路径里可执行文件）都会给出可执行文件的地址，别名命令只会给出真实命令。
info 用于显示命令相关的信息文档。已经被man代替，不推荐。
3.系统状态命令
w 查看当前使用系统的用户,也等同于who命令；whoami命令查看当前登录的用户；id不带参数，显示当前用户的信息，也可以带用户名参数，显示该用户的信息；last 可以提示登录会话信息，其实是一个登录会话的日志。
wall 向终端中所有的当前登录用户发送广播消息。例如： ’echo “hello everybody” | wall‘
date 显示当前日期和时间，例如date +'%Y-%m-%d %H:%M:%S'可以指定格式显示日期时间。注意：-d参数可以得到其他时间，例如：date -d "5 minute ago" +"%m-%d %H:%M"，可以得到5分钟之前的时间，并按照指定格式输出。
cal 显示日历
env 不带参数则显示所有环境变量，也多用于自动执行文件，类似于： #!/usr/bin/env ruby
4.通用命令
grep 它能使用正则表达式搜索文本并把匹配的行显示出来。选项-v只显示不匹配的行，-i匹配时忽略大小写。
sort 排序
uniq 去除重复,选项-d是只显示重复项
tee 把输出同时输出到标准输出和文件中，默认是覆盖到文件，-a则追加到文件
expr 进行数学运算
alias 为字符串或命令起别名,unalias禁止一个别名。使用 ‘\commend’ 方式来执行命令commend时，忽略可能存在的别名，是一种不错的安全实践。
history 显示已输入过的命令,使用!加命令号码可以重新执行该命令
time 后加命令可以显示该命令执行所用的时间，该时间会被添加到stderr中；也可以使用 -o 选项将执行时间记录到文件中
clear 清屏
export 导出变量，如添加新路径，但重启后就会恢复修改。
5.文件和目录操作命令
cd 切换目录。cd-返回上一个目录，cd~进入用户的home目录。
ls 目录列表。选项-a显示全部文件，-l显示长信息，－R递归列出所有子目录的内容，--sort=time按更新时间降序排序。注：alias ll='ls -l --color=tty'
mkdir 建立目录。
rmdir 删除目录。
rm 删除文件。选项-f强制删除，-i删除前给出提示信息，-r|-R递归删除所有子目录和文件。
cp 复制。选项-r|-R递归复制所有子目录和文件，-u不覆盖更新的文件，-b为被覆盖的文件创建备份（默认以~为后缀）。
mv 移动或重命名文件。
ln 建立连接文件.
chmod 改变文件的存取权限。a为所有用户，u为所有者，g为组用户，o为其他用户，对这几种范围可以使用+,-,=来设置r,w,x属性。-R来做递归修改。
umask 改变文件的默认存取权限
chown 改变文件的属主
chgrp 改变文件所属的组
touch 更新文件的时间标志或创建新文件
pwd 显示当前工作路径
cat 显示文件内容,选项-n显示行号，-s显示时合并多个空行为一个空行，-T将tab符显示为^I
more 按页显示文件内容,中途可以按q提前退出
less 按页显示文件内容,可以使用翻页键来前后翻页
wc 统计文件中的行数,单词数和字符数
find 查找文件。选项-name后可跟文件名的匹配模式，-iname则文件名忽略大小写，-exec cmd '{}' ';'使用每一个匹配的文件名作为参数执行指定的命令。其他常用参数：-group -user -nouser -empty -size +/-512k -amin -n -atime -n -mmin-n -mtime -n
locate 定位路径。支持多个搜索字符串和正则表达式匹配。
file 判断可执行文件的具体类型
strings 查找一个二进制文件中的可显示字符串
head 显示文件的开头10行，-n N 等同于‘-N’，显示开头的N行，-n -N 显示除了结尾的N行的其余行。
tail 显示文件的末尾10行，-n N 等同于‘-N’，显示末尾N行，-n +(N+1) 显示除了开头N行的其余行。
gpg 利用gpg数字签名技术对文件进行加密，使用-c 选项后接源文件file进行加密，生成file.gpg文件；直接跟file.gpg文件即可解码。加密/解码时会提示输出密码。
6.用户帐号管理命令
useradd 添加用户
passwd 为用户制定密码
userdel 删除用户，选项-r会删除该用户账户拥有的所有目录和文件
usermod 更改用户的设置
groupadd 增加一个用户组
groupdel 删除一个用户组
groupmod 更改一个用户组的设置
7.进程管理命令
nice 改变指定进程的优先级，优先级默认为10,值越小优先级越高
ps 对当前的进程状态进行快照并显示.
top 动态显示进程状态，选项-d指定刷新间隔，单位为秒
kill 杀死指定PID的对应进程，选项-9/-KILL是强行结束,-1/-HUP是重新运行,不加参数默认是-15/-TERM
8.磁盘和设备管理命令
df 检查文件系统的磁盘空间占用情况，选项-a显示所有文件系统
du 显示指定目录的磁盘空间的使用情况，选项-s只显示总数，-a递归显示所有文件和子目录，默认是只递归显示子目录
mount 加载设备，选项-t type dev dir用来加载设备的文件系统到指定的目录，type指定分区类型，vfat为FAT32或FAT16,ntfs为NTFS分区，－ocodepage=936,iocharset=cp936指定用中文显示文件名和目录。
例如:
加载U盘：mount /dev/sda1 /usb -ocodepage=936,iocharset=cp936。
加载软盘：mount /dev/df0 /mnt/floppy
加载光盘：mount /dev/cdrom /mnt/cdrom
如果需要开机时自动加载,需要把以上命令的参数加入etc/fstab
umount 卸载指定目录对应的文件系统
9.网络管理命令
nslookup 将域名解析为IP地址
ifcongfig 网络接口配置,可以配置IP地址,子网掩码等
route 路由配置
netstat 显示网络状态信息
ping ping命令,选项-c后跟测试次数
traceroute 跟踪路由,得到数据包从源主机到目标地址的路由信息
service 启动某个守护进程
arp 地址解析协议命令,选项-a可以显示当前访问的所有远程主机名,IP地址和硬件地址
telnet 远程登陆命令
ftp ftp命令
10.常用应用程序
vi 有三种模式：命令模式，文本输入模式，命令提示行交互模式。常用的编辑指令有：wq存盘退出，w FileName把缓冲区内容写入指定文件中，q!不存盘直接退出，n,mw FileName把n～m行写入指定文件中，n,mw>> Filename把n～m行追加到指定文件中。
emacs 是linux平台另一个流行文本编辑器
awk 可以对匹配模式的行进行指定的操作.命令的格式为awk -F [fild_separator] 'pattern {action} pattern {action}'input_file
sed 也是一个文本过滤工具.
tar 命令的常用选项有：c用于创建新的档案文件，t查看档案文件的内容，x从档案文件中释放文件，v显示命令处理的文件信息，f使用档案文件或设备，z使用gzip进行过滤处理。
使用举例：
tar cf my.tar /home 把/home目录下所有的文件和子目录打包成my.tar文件
tar xvf root/my.tar /home 把root目录下的my.tar文件展开到/home目录下
tar tvf my.tar 查看my.tar文件的内容
tar cfz my.tar.gz /home 使用gzip压缩的打包文件（也常用.tgz或.tar.z作为扩展名）
tar -cfz my.tar.gz --exlude myfile/log myfile 把当前目录下的myfile文件或文件夹压缩成my.tar.gz文件，而且，不包含myfile文件中的log文件或目录
tar tvfz my.tar.gz 查看my.tar.gz文件的内容
tar xvfz my.tar.gz /home 解压缩gzip的打包文件
gzip 该命令是linux下经常使用的压缩和解压缩工具，压缩后文件的扩展名默认为.gz。常用的选项有：-d解压缩(默认功能是进行文件压缩)，--fast最快压缩，--best最好压缩。gunzip即对应gzip -d的命令，用来解压缩文件。
unzip 命令主要用于解压Windows平台下winzip压缩的文档，扩展名即为.zip。选项-P< >输入密码。
zip 命令则用于以winzip格式压缩多个文件。
uncompress 命令用于解压缩.Z格式的文档。
11. 使用软件包管理器一键式安装软件包和依赖
1）RPM
RPM是RedHat Package Manager（RedHat软件包管理工具）的缩写，这一文件格式名称虽然打上了RedHat的标志，但是其原始设计理念是开放式的，现在包括OpenLinux、S.u.S.E.以及Turbo Linux等Linux的分发版本都有采用，可以算是公认的行业标准了。
rpm 命令可以实现RPM软件包的安装、更新、卸载和检验等操作。常用的选项有：-i安装，-h安装时显示安装进度，-v显示附加信息，-q查询安装包的是否安装和版本信息，-e卸载安装包，-U升级安装。
举例如下：
rpm -ivh usermin.rpm 安装RPM软件包
rpm -q webmin 查询
rpm -qpi webmin 列出RPM软件包的描述信息
rpm -e webmin 卸载RPM安装包
rpm -Uvh usermin.rpm 升级安装
2）apt
Advanced Packaging Tool（apt）是Debian发明，用于其软件包管理工具dpkg（可以安装本地deb文件但不解决文件依赖关系）的前端，可以在制定软件包名称后自动下载更新的版本并解压缩，编译和安装。APT使用一个文件列出可获得软件包的镜像站点地址，这个文件就是/etc/apt/sources.list。APT由几个名字以“apt-”打头的程序组成。apt-get、apt-cache 和apt-cdrom是处理软件包的命令行工具。
/etc/apt/sources.list #软件源设置
apt-get update #更新软件源数据
apt-get upgrade #更新已安装软件
apt-get dist-upgrade #更换系统版本
apt-get -f install #通过安装包或卸载包来修复依赖错误
apt-cache search foo #搜索软件源数据
apt-cache show #获取包的相关信息，如说明、大小、版本等
apt-get install foo #解压安装软件包
apt-get --reinstall #install foo 重新安装软件包
apt-get remove foo #删除软件包释放的内容
apt-get --purge remove foo #卸载软件，同时清除该软件配置文件
apt-get autoclean #删除不需要的包
apt-get clean #删除所有已下载的包
apt-get build-dep foo #自动安装编译一软件所需要的包
3）yum
Yum（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及SUSE、CentOS中的Shell前端软件包管理器。基于RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软件包。
常用的参数：-e 静默执行 ，-t 忽略错误，-R[分钟] 设置等待时间，-y 自动应答yes，--skip-broken 忽略依赖问题，--nogpgcheck 忽略GPG验证
常用命令：
yum -y install foo-x.x.x.rpm #安装软件包
yum remove foo-x.x.x.rpm #卸载软件包，也可以使用：yum erase foo-x.x.x.rpm
yum update foo #更新软件包，也可以使用：yum upgrade foo
yum info foo #查询信息
yum search foo #搜索软件包
yum deplist foo #显示软件包依赖关系
yum list installed #列出已经安装的软件包
yum list extras #列出已经安装且不在资源库的包
yum reinstall foo #重新安装软件包foo
yum localinstall xx.rpm #安装本地的rpm包
12.开放源代码的编译使用
在readme和install文档中一般都介绍了编译方法和安装步骤，列出了程序正常工作需要的其他程序、编译选项，以及默认安装位置等。一般步骤是：
./configure [--prefix=/home/my/tool --exec-prefix=/home/my/tool]
make
make install
注意：在这种方式下，一般前两步用户权限就可以，而第三步需要root权限，否则无法写入/usr/bin等目录。解决办法是执行configure命令时添加--prefix=/home/my/tool --exec-prefix=/home/my/tool两个参数来指定目录。
★Red Hat Linux的图形界面
X Windows系统由许多部分组成,包括X服务器,X客户端,X协议,X开发库和X工具箱.和用户实现交互的是X客户端,它借助于X协议访问X服务器.在一个系统中可以拥有多个X客户端,但是只能运行一个X服务器.
Windows操作系统除98外操作系统和GUI界面是紧密耦合的,Linux中的字符界面和GUI界面是完全独立的.
在/etc/inittab文件里修改默认启动级别为5可以更改默认启动的用户界面.
X Windows在即插即用方面做了很大改进,可以自动识别需要mount的设备.
两种桌面风格:GNOME和KDE
常用应用程序:文件管理器Nautilus,运行对话框,搜索文件,运行终端,记事本gedit,系统监视器,包管理器,服务管理器,浏览器Firefox,办公软件OpenOffice包括Writer,Calc,Impress等,Wine模拟器模拟windows系统程序.
RedHat的shell界面中，用蓝色表示文件夹，青色表示链接文件，白色表示文件。
★文件布局详解
一、根目录详解
/usr 操作系统的命令,库和文档
/etc 系统配置文件,不包含可执行文件
/var 动态信息,如日志,临时文件,缓冲文件
/home 用户目录
/root root用户的主目录
/lib 库文件
/bin 标准命令文件
/sbin 系统管理命令
/opt 应用程序
/dev 设备文件
/mnt 挂接临时映射的文件系统
/tmp 临时文件夹,随时可清空
/boot 内核和引导加载器
/proc 位于内存中的伪文件系统，存放进程和系统信息
二、部分子目录详解
1./usr目录的子目录
bin 操作系统的命令
sbin 系统管理命令
local 用户自己新安装的软件
X11R6 与X Windows相关的内容
include C开发工具需要的头文件
share 共享目录,如帮助手册和技术文档
2./var目录的子目录
log 日志文件
spool 缓冲文件
local 安装程序产生的中间数据
run 系统运行期间的有关系统信息
tmp 临时文件夹
3./dev目录的子目录
hd[s][d] s为a,b,c,d等表示第n块IDE硬盘驱动设备,d为1,2,3,4,5等表示第n个分区
sd[s][d] s为a,b,c,d等表示第n块SCSI硬盘驱动设备,d为1,2,3,4,5等表示第n个分区
ttyS[d] d为1,2,3,4表示COM1~COM4设备
lp0 并口设备
null 空设备,用于屏蔽输出消息或者删除不需要的文件
4./proc目录的内容
version 保存了Linux核，gcc等版本号
cpuinfo CPU信息
meminfo 内存状态的信息
stat 这个文件包含的信息有CPU利用率，磁盘，内存页，内存对换，全部中断，接触开关以及上次自举时间（自1970年1月1日起的秒数）
uptime 自从上次系统自举以来的秒数，以及其中有多少秒处于空闲
loadavg 给出以几个不同的时间间隔计算的系统平均负载
devices 字符和块设备的主设备号和设备名称
modules 可加载内核模块的信息
mounts 给出当前系统所安装的文件系统信息
dma DMA通道和驱动程序名称
pci 给出PCI设备的信息
ioports 设备的I/O端口范围
kcore 物理内存以core文件格式保存的二进制格式文件
filesystems 可供使用的文件系统类型
interrupts 中断号和发生中断次数
数字n 该文件夹存储了pid和数字n相同的应用进程的信息，包括该应用进程的可执行文件的所在路径都可以在这里查到（在该文件夹建立了可执行文件的链接文件，ll 即可看到可执行文件的实际地址）。重要的文件和目录介绍如下：
a） environ：包含与进程相关联的环境变量
b） exe：是一个到进程工作目录的符号链接
c） fd：包含了由进程所使用的文件描述符
5.Bash配置：
~/.bash_profile 当用户登录时，该文件仅仅执行一次；是交互式、login方式进入 bash运行的
~/.bashrc 当登录时以及每次打开新的shell时，该文件被读取；是交互式 non-login方式进入 bash运行的
通常二者设置大致相同，所以通常前者会调用后者。
使用source命令可以不重启而令配置文件立刻生效
source FileName作用:在当前bash环境下读取并执行FileName中的命令。source在当前bash环境下执行命令，而scripts是启动一个子shell来执行命令。这样如果把设置环境变量（或alias等等）的命令写进scripts中，就只会影响子shell,无法改变当前的BASH,所以通过文件（命令列）设置环境变量时，要用source 命令。
6.重要文件和目录
/etc/inittab 用来保存默认启动的运行级别，设置为5可直接进入X窗口。
/etc/fstab 用来存放文件系统的静态信息的文件，自动挂载文件系统应该修改此文件。
/etc/resolv.conf 编辑DNS地址
/etc/sysconfig/network 修改主机名
/etc/sysconfig/network-scripts/ifcfg-eth0编辑IP地址，掩码和网关。可以使用netconfig命令来在文本图形界面里设置该文件和DNS地址的文件。
/etc/profile 所有用户的配置文件，可以把export语句加入这里来为所有用户添加环境变量。
/usr/share/dict/words 保存了单词列表，每行一个单词
/dev/null 控设备，可以将不需要显示的内容重定向到这里
/dev/stderr 标准错误输出。对于tee命令，如果带上这个参数，就会同时输出到stdout和stderr，而stdout可以用管道传给下个命令，stderr则输出到终端上
7.重要的环境变量
PATH 可执行文件搜索路径，一般用export PATH=$PATH:/newpath来添加新路径
LANG 显示语言。LANG=UTF-8可以正常显示英文。在X窗口的终端里可以设置LANG=zh_CN.UTF-8显示中文。在纯控制台下是不可以简单通过设置LANG来显示中文的。
★VMWare网络配置
1.桥接方式(bridge) :
默认使用vmnet0
将虚拟机的ip设置与主机同网段未使用ip,其余与主机相同:
ip地址与主机同段相异,子网掩码，网管，DNS服务器与主机相同。
实现虚拟机<--->主机虚拟机<---->互联网通信。
2.共享方式(nat) :
默认使用vmnet8
将虚拟机设置成使用DHCP方式上网,windows下选择"自动获取ip",linux下开启DHCP服务即可。
3.私有方式(host-only):
默认使用vmnet1
将虚拟机ip设置与vmnet1同网段,gateway设置成vmnet1的ip,其余设置与vmnet1相同,DNS设置与主机相同
这样就实现了虚拟机<--->主机 通信,但是虚拟机<--->互联网 仍无法通信
★工作中常用的命令详解
1.从其他机器拷贝文件夹
格式: scp -r 文件夹名 用户名@机器名:/路径
范例: scp -r search [email protected]:/home/work/
格式：rsync -v 文件夹名 用户名@机器名:/路径
范例：rsync -v search [email protected]:/home/work/
格式：wget
范例：wget ftp://zjm-testing-ps23.zjm.baidu.com//home/work/search
说明：下载远程ftp或http服务器的文件到本地当前目录
选项：可以后跟多个url，从多处进行下载；-O 指定保存的文件名；-o 指定日志信息的输出文件；-t 指定重试次数；--limit-rate 指定速度限制，例如：20k，50m；-Q/--quota 存储空间的限额；-c 断点续传；--mirror 镜像整个网站；-r -N -l DEPTH 递归指定的页面层级DEPTH，-N是指允许对文件使用时间戳；--user username --password pass 用于HTTP或FTP认证中提供用户名密码，也可以使用--ask-password来由网页提示并手动输入密码
注：wget、scp、rsync三者的比较参见专题：linux服务器之间传输文件的几种方式
2.查看哪个程序在用特定端口
格式: netstat -apen | grep 端口号
范例: netstat -apen | grep 8080
输出结果如下：
Proto Recv-Q Send-Q Local Address Foreign Address State User Inode PID/Program name
tcp 0 0 0.0.0.0:12341 0.0.0.0:* LISTEN 500 477730063 2439/gss’grep UID /etc/passwd‘ 来获取uid的信息，如用户名；'cd /proc/PID' 来获取pid的信息，如exe的链接地址就指向了真实的可执行文件，也可以通过 ’ps aux | grep PID‘ 命令来获取pid的信息。
也可以使用如下命令来查看PID：
# list open files
sudo lsof -i:8080
3.实时监控日志文件内容
格式: tail -f 日志文件名
范例: tail -f ui.log | grep 'hello'
说明:这显示ui.log文件的最后十行中含有hello字符串的行。tail命令继续显示添加到ui.log文件中的并且含hello字符串的行。显示会一直继续，直到您按下 Ctrl-C按键顺序来停止
4.查看指定用户拥有的进程
格式: pstree 用户id
范例: pstree work
说明:显示work用户正在运行的各进程之间的继承关系，以树状结构方式列出
5.查看磁盘空间使用情况
格式: df -h
6.查找某文件中出现指定字符串的行
格式: grep 指定字符串 文件名
范例: grep 电视剧夏天的味道 ui.log
说明: 找出日志文件ui.log中包含“电视剧夏天的味道”的行
范例：grep --include *.{c,cpp} --exclude ‘common.c’ -r “function”./*
说明：在当前目录下循环查找子目录里，所有c或cpp文件，且非common.c文件中，包含function字符串的文件。
进阶：'-A n' 显示匹配行和其之后的n行，'-B n' 显示匹配行和之后的n行，'-C n' 和 '-n' 相同，显示匹配行和其前和其后的各n行；-o 只显示匹配项，以行分割；--color 将显示中的匹配项显示为红色；-E 使用正则表达式进行匹配；-c 输出匹配的行数；-i 忽略大小写的方式进行匹配；-v 只显示不匹配的行；；-r/-R 递归搜索当前目录的文件，进行匹配；-e 执行多个匹配命令，各个匹配命令是或的关系；-q 静默输出，当找到匹配项时，$?==0，当没有找到匹配项时??==1，当文件不存在时，$?==2；
7.查看内存使用情况
格式: free
8.查看系统信息
查看系统内核版本：
格式: uname -a
选项：-r 是系统的发行版本；-m 是主机类型
查看主机名：
格式：hostname
格式：uname -n
查看CPU的相关信息：
cat /proc/cpuinfo
cat /proc/cpuinfo | sed -n '5p' #cpu型号
查看内存的相关信息：
cat /proc/meminfo
cat /proc/meminfo | head -1 #内存容量
9.查看当前路径下的文件/文件夹大小
格式: du -shc 文件名/文件夹名
选项：--max-depth 限制层数；
10.变更为其它使用者的身份
格式: su 使用者帐号
范例: su work
11.远程登陆
格式: ssh 用户名@机器名
范例: ssh rd@build01
12.不挂断地运行命令（即使关闭终端连接）
格式: nohup command &
范例: nohup ./build_index.sh -d ../newdbi/ &
高级：使用screen命令可以在新窗口运行shell，并且在从远程终端退出后，仍然可以在保持窗口的状态，再以后时再次进入。
格式: screen #进入窗口（新建一个窗口）
格式: screen -list #显示当前后台（Detached）所有的窗口，格式为
格式: screen -r [session id]
进入窗口后：
使用exit命令退出当前窗口；
使用Ctrl+A后，输入?显示帮助，帮助中命令均要使用Ctrl+A后再去输入
使用Ctrl+A后，输入d将当前窗口Detached，回到原来的环境
使用Ctrl+A后，输入a将执行Ctrl+A的组合键功能
修改配置文件（位于~/.screenrc）进行功能加强：
#启动时不显示欢迎屏幕
startup_message off
term linux
# 定义screen的功能键为Ctrl-Z。向终端输入Ctrl-Z时应按 Ctrl-Z z。
#escape ^Zz
##设置屏幕缓冲区为4096行
defscrollback 4096
#设置状态栏
hardstatus on
hardstatus alwayslastline
shelltitle "$|bash"
hardstatus string '%{= kG}[ %{G}%c:%s %{g}][%= %{= kw}%?%-Lw%?%{r}(%{W}%n*%f%t%?(%u)%?%{r})%{w}%?%+Lw%?%?%= %{g}][ %{C}(F1)New (F2)Rename (F3)Monitor (F4)Slience %{g}][%{kB} %d/%m %{w}%c %{g}]'
##shutdown the noise
vbell off
## w to show the window list
bind w windowlist -b
bind ^w windowlist -b
##初始化显示4个窗口，默认选择窗口0
screen
screen
screen
screen
select 0
#进行快捷键的绑定：k1-k9表示功能键F1-F9，F1、F2表示功能键F11、F12
bindkey -k k1 screen
bindkey -k k2 title
bindkey -k k3 monitor
bindkey -k k4 silence
bindkey -k k5 colon
#bindkey -k k6 split
#bindkey -k k; focus
bindkey -k k7 focus
#bindkey -k k8 only
bindkey -k k9 detach
bindkey -k F1 prev
bindkey -k F2 next
attrcolor u "-u B"
sessionname screensession
autodetach on
13.查看文件的行数
格式: wc -l 文件名
范例: wc -l as.conf
说明: 支持批量，例如 ‘wc -l ./*’
14.比较两个文件的不同之处
格式: diff 文件1文件2
-u 以统一的格式来展示。输出格式如下：@@ -127,10 +127,6 @@表示此段显示前一个文件（---）的127行开始的10行，后一个文件（+++）的127行开始的6行，在展示时，如果此行前面为-号表示只在前一个文件（---）中出现，前面为+号表示只在后一个文件（+++）中出现，前面为空格表示在两个文件中都出现。
-b 忽略空格造成的不同。
-B 忽略空行造成的不同。
-I：忽略大小写的变化。
-y 以并列的方式显示文件的异同之处。
-W<宽度> 在使用-y参数时，指定栏宽。
-u 以合并的方式来显示文件内容的不同。
-c 显示全部内容，并标出不同之处。
-q 只显示不同的文件名
diff -ruN <文件名> <文件名> > <补丁文件名>
注：vimdiff命令请参考vim的split命令。
15.杀死进程
格式: killall -9 进程名
范例: killall -9 bs.se
16.在SecureCRT中把文件传给本机的‘我的文档’目录下
格式: sz 文件名 #注：本机的保存位置，是由SecureCRT的配置项决定的
范例: sz 1.txt
17.把本机文件传给SecureCRT中当前机器的当前目录
格式: rz -be
18.Vi文本编辑器
H 光标移至屏幕顶行
nG 光标移至第n行首，等同于::n；移到文件头使用1G（等价于命令gg），移到文件尾使用G。
n+ 光标下移n行
n- 光标上移n行
* 向后查找光标所在的单词
# 向前查找光标所在的单词
n 查找下一个
N 查找上一个
nz 将第n行滚至屏幕顶部，不指定n时将当前行滚至屏幕顶部。
J 将下一行和当前行连接为一行
r 替换当前光标所在处的字符
x/X 删除光标后/光标前的字符（前面可加数字表示删除的字符个数）
dd 剪切行（前面可加数字表示删除的行数，前面加字母表示复制到哪个缓冲区，使用缓冲区时：1. 前面加双引号开头 2.小写a-z表示替换到缓冲区，大小A-Z表示追加到缓冲区，例如："a10dd ；另外，+表示系统剪贴板，vim需要安装增强才能支持，输入:reg来查看所有缓冲区，如果没有"+就是不支持）
yy 复制行（前面可加数字表示复制的行数，前面加字母表示复制到哪个缓冲区，使用缓冲区类上）
dw 删除一个单词；d^删除到行首；d$删除到行尾；d1G删除到文档首；dG删除到文档尾
yw 复制一个单词；y^复制到行首；y$复制到行尾；y1G复制到文档首；yG复制到文档尾
p 贴在游标后（整行复制则是下一行，前面加双引号和字母时表示从哪个缓冲区复制，例如："ap）
P 贴在游标前（整行复制则是上一行，前面加字母表示从哪个缓冲区复制）
u 撤销命令；Ctrl+r 重做
输入:后可以使用的命令有：
split [file] 水平分割，不接文件则新窗口显示当前文件。Ctrl+W，然后按方向键可以切换窗口。
vsplit [file] 垂直分割
diffsplit [file] 比较并水平分割
vertical diffsplit [file] 比较并垂直分割
比较并分割的具体命令：1.将光标移动到蓝色区后，输入 do或者 dp，do表示将以对比的文件为标准来修改当前文件中光标所在的不同之处
dp表示以当前文件为标准，来修改对比文件中的差异之处。2.从一个差异移动到另一个差异的方法有： n[c移动到上一个差异，移动n此，如果要向下移动则使用： n]c
#,# copy/move # 把行号#,#之间的行区域复制/移动到行号#
w 保存
x 保存并退出
q! 直接退出不保存
/word 向后查找；?word向前查找
#,#s/old/new/g 替换命令，"#,#"表示两个行号之间的行区域，"old"指被替换的字符串，"new"替换成哪个字符串
%s/old/new/g 整篇替换命令
:set nu 显示行号
:set fileencoding 查看文件编码格式。
:set list/nolist 显示所有字符/隐藏不可见字符，这些不可见字符使用“Ctrl+V+字符”的方式来输入，而直接使用“Ctrl+字符”的方式可以执行该控制字符的功能。控制字符的列表可以在ASCII码的Ctrl列找到，也可以参见详细解释：ASCII字符集中的控制字符。常见的控制字符包括：^M-回车，^J-换行，^I-Tab键等。
set all 显示所有支持的vi环境变量，这些变量均可以使用set
配置文件设置：（即~/.vimrc，默认不存在，自己新建即可）
colorscheme desert "设置背景
syntax on "自动语法高亮，也就是有多种颜色了
解决乱码（其实是GBK编码显示乱码问题）的一套方案（放于.vimrc的最顶端）
set fileencodings=ucs-bom,utf-8,cp936,gb18030,big5,euc-jp,euc-kr,latin1
set encoding=utf-8
set termencoding=cp936
language messages zh_CN.UTF-8
自动将TAB符以4个空格替换，并且将文件中TAB符以4个空格长度表示（默认为8个），该设置只对ruby和rb类型的文件生效：
autocmd FileType rb,ruby set tabstop=4 | set shiftwidth=4 | set expandtab
view xxx.txt 等价于 vi -R xxx.txt ： 以只读方式打开文件
19.文件编码转换
查看文件的编码类型：
格式：file 文件名
转换文件的编码类型：
格式：iconv -f 源编码 -t 目标编码 <输入文件名> -o <输出文件名>
举例：iconv -f "GBK" -t "UTF-8" xx.txt -o xx_utf8.txt
其他选项：-l 列出所有支持的编码名称；-s 不输出警告（例如遇到转换编码错误）；
格式：piconv -f 源编码 -t 目标编码 <-s 输入字符串|输入文件名>
举例：piconv -f "GBK" -t "UTF-8" xx.txt > xx_utf8.txt
其他选项：-l 列出所有支持的编码名称；-r 转换编码名称为其规范名；-s 输入字符串；
注：在处理大文件时，piconv的效率明显低于iconv。但是piconv可以对实时连续不断地输出的内容，按行进行处理并返回结果；iconv则需要等待所有输出完成后，再一次性对所有行进行处理并返回结果。
查询编码类型的规范名：
举例：piconv -r gb2312 #euc-cn
piconv -r gbk #cp936
20.文本抽取
见awk命令专题总结：AWK命令简记
21.非交互性文本流编辑器
见sed命令专题总结：sed命令简记
22.将文件中的记录排序
格式：sort [选项]–o输出文件名 [其他选项] +pos1+pos2输入文件名
参数：
-c 测试文件是否已经排序
-m 合并两个排序文件
-u 删除所有复制行
-o 存储sort结果的输出文件名
其它参数有：
-b 使用域进行排序时，忽略第一个空格。
-n 指定排序是域上的数字排序。
-t 域分隔符；用非空格或t a b键分隔域。
-r 对排序次序或比较求逆。
+n n为域号。使用此域号开始排序。
n n为域号。在排序比较时忽略此域，一般与+ n一起使用。
pos1，pos2 传递到m，n。m为域号，n为开始排序字符数；例如4，6意即以第5域排序，从第7个字符开始。
范例：sort -t: +2n video.txt 以“：”为域分割符，按第三个域数字排序video.txt
23.去除文本文件的重复行
格式：uniq [选项]输入文件 [输出文件]
参数：
-u 只显示不重复行。
-d 只显示有重复数据行，每种重复行只显示其中一行
-c 打印每一重复行出现次数。
-f n为数字，前n个域被忽略。一些系统不识别- f选项，这时替代使用- n。
范例：uniq –n2 parts.txt
-s n为数字，前n个字符被忽略。
-w n为数字，只比较n个字符
24.连接两个文本文件
格式：join [选项]文件1文件2
说明：join用来将来自两个文本文件的行连在一起，两个输入文件必须已经分过类，每个文件里都有一些元素与另一个文件相关，由于这种关系，join将两个文件连在一起。
参数：
-an n为一数字，用于连接时从文件n中显示不匹配行。例如， - a 1显示第一个文件的不匹配行，- a 2为从第二个文件中显示不匹配行。
-o n.m n为文件号，m为域号。1 . 3表示只显示文件1第三域，每个n，m必须用逗号分隔，如1 . 3，2 .1。
-j n m n为文件号，m为域号。使用其他域做连接域。
-t 域分隔符。用来设置非空格或t a b键的域分隔符。例如，指定冒号做域分隔符- t：
范例： join –o 1.1,2.2 names.txttown.txt
25.从文本文件中剪切列或域
格式：cut [选项] 文件名
参数：
-c list 指定剪切字符数。
-f field 指定剪切域数。
-d 指定与空格和tab键不同的域分隔符。
- c用来指定剪切范围，如下所示：
- c 1，5-7 剪切第1个字符，然后是第5到第7个字符。
-f 格式与- c相同。
-f 1，5 剪切第1域，第5域。
范例： cut –d: -f3 pers
26.将两个文本文件按列粘贴在一起
格式：paste [options] file1 file2
说明：粘贴两个不同来源的数据时，首先需将其分类，并确保两个文件行数相同。paste将按行将不同文件行信息放在一行。缺省情况下， paste连接时，用空格或tab键分隔新行中不同文本，除非指定-d选项，它将成为域分隔符。
参数：
-d 指定不同于空格或t a b键的域分隔符。例如用@分隔域，使用- d @。
-s 将每个文件合并成行而不是按行粘贴。
范例： paste –d: pas2 pas1 用冒号作分割符
27.将大文件进行分割
格式：split [选项]输入文件名 输出文件名前缀
参数：-a 指定后缀的长度（缺省为2）
-b 每个输出文件的字节大小
-l 每个输出文件的行数
-d 后缀以数字形式排序
范例：split –l 1000 bigfile.txtoutfile
进阶：csplit可以支持更多的筛选功能，例如：csplitserver.log /SERVER/ -n 2 -s {*} -f server -b “%02d.log”这个命令的意思是把server.log文件以包含/SERVER/的行进行分离为文件server01.log、server02.log等，并且{*}表示全部都分割。
29.查找文件
格式：find 查找路径 -iname/-name字符串
范例：find . -iname "*hello*" 2>/dev/null
说明：在当前路径下找到文件名包含hello字符串（不区分大小写）的文件。后面的输出表示不显示Permission denied的行。
范例：find . \( -name “*.txt” -or -name “*.pdf” \)
说明：查找以txt或者pdf结尾的文件
范例：find . -type f -maxdepth 1 -user work -exec cp {}{}.bak \;
说明：把当前目录下的文件全部做一个以.bak结尾的备份
进阶： -not否定条件，-and交集条件，-path限定路径，-mindepth限定最小路径深度，-maxdepth限定最大路径深度，-type指定搜索的文件类型（f/l/d/c/b/s/p）,-atime/mtime/ctime +/-n文件在n天之前/或之内，被访问过/内容被修改过/状态发生了变化，-amin/mmin/cmin +/-n同前，只是单位为分钟，-size +/-n(b/c/w/k/M/G)文件的体积大于/小于n单位，-perm指定权限，-user指定用户
30.压缩包操作
打包：tar cvf 文件名.tar 文件
解包：tar xvf 文件名.tar
打压缩包：tar zcvf 文件名.tar.gz 文件
解压缩包： tar zxvf 文件名.tar.gz
解zip压缩包：unzip文件名.zip
31.计算文件的md5码
格式：md5sum 文件名 >保存md5码的文件名
范例：md5sum download.xml > download.xml.md5
范例：md5sum -c download.xml.md5
说明：校验md5是否正确
进阶：计算和校验sha1码的命令是sha1sum，用法类似。
32.向服务器发送POST或GET请求
格式：curl -d POST参数 url地址
范例：curl -d 'username=xx&passwd=mypd'http://www.baidu.com/login
范例：curl "http://www.baidu.com" #get方式
范例：curl -i -H 'Content-Type:application/json;charset=UTF-8' --data-ascii '{key1:val1, key2:val2}' 'http://www.sample.com/deal.php' #jason方式，可以使用--data-ascii参数来POST纯文本的数据；-i来显示HTTP头
范例：curl -F 'key1=val1' -F 'key2=val2' -F 'filekey=@file_fullpath' 'http://www.sample.com/deal.php' #上传文件，会自动添加Content-Type: multipart/form-data; boundary=----------------------------长度
选项：curl通常将下载文件输出到stdout，将进度信息输出到stderr；--silent 不显示进度信息；--progress 显示#组成的下载进度条；-O 输出保存为文件，但是必须是要访问一个文件的url时；-C offset 指定一个偏移量offset来断点续传，如果希望curl自动计算断点续传的位置，使用 ‘-C -’ 即可；--referer 设置参照页；--cookies “COOKIES” 使用cookies选项，其中cookies字符串为"name=value;name=value"；--user-agent 设置UA；-H 设置头部信息，可以使用多个-H来添加多个头部信息；--limit-rate 设置限速，单位可以为k、m；--max-filesize 设置存储限额；-u username:password 完成HTTP或FTP认证，只使用 '-u username' 的话，会提示输入密码；-I/--head 只打印响应头信息（有助于进行各种检查或统计）
33.将上一个命令的结果作为参数，分组使用进行操作
格式：前一个命令 | xargs -i -t -n1 <命令和参数>
范例：find . -iname '*openmobile*' | xargs -i -t -n1 cp {} {}.bak
说明：-d参数指定分隔符，-0指定以‘\0’作为分隔符；-I指定替换字符，-I {} 和 -i{} 是一样的；-t 将要执行的命令输出到Stderr；-n2和-n 2是一样的，指定每次使用几个参数；
说明：把当前目录的文件名含有openmobile的文件，全部做个备份，生成对应的'文件名.bak'文件。其中{}引用了上一个命令的结果，n1表示如何使用上一个命令的结果，n1为执行一次命令使用1个结果值，n2为执行一次命令使用2个结果值，例如find . -iname 'openmobile*' | xargs -i -t -n2 diff –q
34.录制执行命令的脚本为文本文件
格式：script 文件名
范例：script cmdlines.txt
说明：执行exit命令或ctrl-D命令结束录制，录制的命令和输出结果会存储在cmdlines.txt文件中。
35.替换操作
格式：tr 字符集1 字符集2
范例：echo “HELLO WORLD | tr ‘A-Z’ ‘a-z’
说明：把大写转换为小写
进阶：-s 删除掉重复的 字符集1中的字符（只保留第一次出现的那个字符），-d 删除掉 字符集1中的字符，-c <字符集> 使用<字符集>的补集。
36.文件名操作和批量重命名
格式：rename ‘模式’文件
范例：rename ‘s/ /_/g’ *.txt
范例：rename ‘y/A-Z/a-z/’ *
范例：file_jpg=”sample.jpg”;name=${file_jpg%.*};extension=${file_jpg##*.}
说明：%非贪婪从右至左匹配，%%贪婪从右至左匹配，#非贪婪从左至右匹配，##贪婪从左至右匹配
37.检查拼写
格式：aspell -l 或 aspell -c文件名
范例：echo hello | aspell -l
格式：look 单词
范例：look - hello
说明：列出所有以’hello’开头的单词
38.查找两个文件内容相同的行
格式：comm 文件1 文件2 -1 -2 -3
范例：sort A.txt -o A.txt; sort B.txt -o B.txt; comm. A.txtB.txt -1 -2
说明：显示A.txt和B.txt内容相同的行；comm的输入文件必须先sort，结果显示为3列，第1列为只在A文件有，第2列为只在B文件有，第3列为在A、B文件都有的行，三个列之间用tab分割。-1，-2，-3的参数分别表示不显示第1列，第2列和第3列。
39.对文本文件按行进行循环处理
范例：...(cat filename) | (while read line; do echo $line; done)
范例：
while read line
do
echo $line
done < filename(待读取的文件)
40.倒序单词或字符
格式：rev 字符串
格式：tac 字符串
范例：echo "hello world" | tac -s ' ' | tr '\n' ' '
说明：把单词倒序，tac默认是倒序行，此处指定分隔符为空格；rev是倒序每个字符。
41. 定时任务
格式：crontab -e
说明：执行文字编辑器来设定时程表。时程表格式如下：“f1 f2 f3 f4 f5 program”，其中 f1 是表示分钟，f2 表示小时，f3 表示一个月份中的第几日，f4 表示月份，f5 表示一个星期中的第几天（星期天为0，星期一为1，...，星期六为6）。program 表示要执行的程式。
fx的表示说明：当 f1 为 * 时表示每分钟都要执行 program；当 f1 为 a-b 时表示从第 a 分钟到第 b 分钟这段时间内要执行；当 f1 为 */n 时表示每 n 分钟个时间间隔执行一次；当 f1 为 a, b, c,... 时表示第 a, b, c,... 分钟要执行。
其他参数： -l 列出目前的时程表
范例：0 2 * * * cd /home/mysql/dbproxy/log && find . -mtime +30 -exec rm -rf {} \;
说明：每天凌晨2点定期删除30天以前的日志文件
注意：如果命令行里使用了%，需要添加转义符，否则整个命令行会解析错误，不被执行
范例：cd /home/work/tools/ud_web/alamon && /home/work/odp/php/bin/php -n ./wise_push_data.alamon_pushdata.php > wise_push_data.log.`date +\%Y\%m\%d`
注意：crontab执行的命令，并不基于当前用户的环境参数，例如打印$PATH可能只是为‘/usr/bin:/bin’，故很多基于环境参数的命令无法执行（不限于写在crontab中的命令，而是包括crontab执行的命令例如shell脚本里的内容），包括‘#! /usr/bin/env python’这种自动执行脚本的语句。不过，‘~’会被解释为当前用户的主目录（每个用户都拥有自己独立的crontab任务列表），但为了任务的可移植性，建议尽量使用全路径。
正确做法是，在执行命令前执行'cd /home/work/myscript && source /home/work/.bash_profile && ./helloworld.py'或者使用全路径执行'cd /home/work/myscript && /home/work/local/python/bin/python helloworld.py'
查看其他人的定时任务：
sudo conrtab -l -u
42. core文件的设置
格式：ulimit -a #显示当前core文件的相关设置，例如：开启或关闭core文件的生成
/proc/sys/kernel/core_uses_pid可以控制产生的core文件的文件名中是否添加pid作为扩展，如果添加则文件内容为1，否则为0
/proc/sys/kernel/core_pattern可以设置格式化的core文件保存位置或文件名，比如可以这样设置：/home/coresave/core.%e.%p.%t
注意：添加内容到/proc/sys/中的文件时，使用>，而不要使用vi编辑。例如：‘echo '/home/coresave/core.%e.%p.%t' > /proc/sys/kernel/core_pattern’
如果想永久生效，重启之后也可以生效，则应该将内容添加到/etc/sysctl.conf文件中，然后执行'sysctl -p'命令令其立即重新加载sysctl.conf配置文件。例如：上面的例子应该添加：‘kernel.core_pattern = /home/coresave/core.%e.%p.%t’
调试core文件的命令：（生成可执行文件时使用g++ -g参数来加入调试信息会有益于追查，可以直接显示错误的行和以下中更多的详尽信息）
gdb [可执行文件] [core文件]
dir|directory [代码所在路径] //指定对应的代码，然后就可以查看代码了。
bt|backtrace //查看退出时的堆栈信息
f|frame [n] //n是一个从0开始的整数，是栈中的层编号。比如：frame 0，表示栈顶，frame 1，表示栈的第二层。
info frame|info f //这个命令会打印出更为详细的当前栈层的信息，只不过，大多数都是运行时的内存地址
info args //打印出当前函数的参数名及其值
info locals //打印出当前函数中所有局部变量及其值
info catch //打印出当前的函数中的异常处理信息
info thread //如果是多线程程序，这样可以看到每个线程的信息。但是至于程序挂在哪个线程里了要用肉眼去分辨，这个应该不难。
thread 1 //进入第一个线程
gdb [被调试文件] -c [进程号] //连接到正在运行的进程
43. 执行脚本的绝对路径
#获取当前执行的脚本文件所在的绝对路径：
sh_dir_tmp=`dirname "$0"`
sh_dir=`cd "$sh_dir_tmp"; pwd`
注：sh_dir为最后不带/的路径，例如“/home/work/dir”
#`basename "$0"`来获取当前执行的脚本文件的文件名
44. 调试shell命令
选项-x 进入跟踪方式，显示所执行的每一条命令；-n 只读取shell脚本，测试shell脚本是否存在语法错误，但不实际执行。另外，调试脚本里的管道命令时，可以在两个管道命令之间插入tee命令来将前一个管道的命令保存到文件中去查看，也可以使用 | tee /dev/stderr | 的方式来将前一个管道的输出同时显示在终端和传递给下一个管道。
“-x”选项使shell在执行脚本的过程中把它实际执行的每一个命令行显示出来，并且在行首显示一个"+"号。 "+"号后面显示的是经过了变量替换之后的命令行的内容，有助于分析实际执行的是什么命令。先执行export PS4='+{$LINENO:${FUNCNAME[0]}} ', 然后再使用“-x”选项来执行脚本，就能在每一条实际执行的命令前面显示其行号以及所属的函数名。
对于使用-x得到的+输出，是无法通过重定向命令保存的，也不可以使用管道+more命令来分页查看；可以使用录制命令来保存输出结果到文件中再自行查看，即：script 文件名，exit结束录制。
shell的执行选项除了可以在启动shell时指定外，亦可在脚本中用set命令来指定。 "set -x"表示启用调试选项，"set +x"表示关闭调试选项，这2个标记之间的内容为被跟踪的代码段。
调试钩子，例如以下的DEBUG函数，可以通过DEBUG <命令>的方式来调用，例如：“DEBUG set -x”；并且在执行时使用export DEBUG=true来打开。
DEBUG()
{
if [ "$DEBUG" = "true" ]; then
$@
fi
}
45. 打印彩色输出
echo -e "\e[1;31m This is red text \e[0m"
每种颜色都有对应的颜色码。比如：重置=0，黑色=30，红色=31，绿色=32，黄色=33，蓝色=34，洋红=35，青色=36，白色=37。
要设置背景色，和上面的前景色对应，以4开头，例如：重置=0，黑色=40，红色=41，绿色=42，...，青色=46，白色=47。
echo -e "\e[1;32m [Pass]全部case的结果一致 \e[0m"
echo -e "\e[1;31m [Fail]有${failNum}个case的结果不一致！ \e[0m"
46. 数学运算
整数运算可以使用let或者(( ))和[ ]，expr，复杂的则可以使用bc函数，举例：
echo '4*0.56' | bc #2.24
echo "scale=2; 3/8" | bc #0.37,保留2位精度
echo "obase=10; ibase=2; 1100100" | bc #100
echo “sqrt(100)” | bc #10
echo "10^3" | bc #1000
47. BASE64编解码
BASE64编码：
echo -n $text | perl -e 'use MIME::Base64; $_ = encode_base64(<>); print;'
BASE64解码：
echo -n $base64 | perl -e 'use MIME::Base64; $_ = decode_base64(<>); print;'
48. 对程序输出中的特定关键字进行高亮显示
以高亮显示lighttpd.log日志中的”box“关键词为例：
hlkw="box" && tail -f lighttpd.log | sed -e "s/$hlkw/$(tput smso)$hlkw$(tput rmso)/g" #加重
word="box" && tail -f lighttpd.log | | sed -e "s/$word/$(tput setaf 7; tput setab 1; tput bold)"$word"$(tput sgr0)/g" #红底白字
更多控制字符的用法参见博客： http://blog.csdn.net/fdipzone/article/details/9993961
49. 如何追查服务器的问题现场
# 目前都谁在线
w
# 最近有谁登陆过服务器
last -w
# 查看history文件，位于各个用户的主目录下
# export HISTTIMEFORMAT="%F %T `whoami` "
cat $HOME/.bash_history
# 查看正在运行的进程和相关的用户
pstree -a
50. 单行编写for循环语句
for i in {0..9}; do echo $i; done
for (( i=0;i<10;i++ ));do echo $i; done
for i in `seq 0 9`;do echo $i;done
51. 把字符串转为数组和关联数组
#! /bin/sh
#################
# 把字符串转为数组 #
#################
str_arr=' ( "aa", "bb",cc ,dd ) '
#str_arr="()"
# 去除前后的空白符
str_arr=`echo "$str_arr" | sed -e "s/^[ ]*//" -e "s/^\\t*//" -e "s/[ ]$//" -e "s/\\t$//"`
if [[ -z "$str_arr" ]];then
echo "Error, inptut is null."
exit 99
fi
echo "$str_arr" | grep -q -E "\\(.*\\)$"
if [[ $? != 0 ]];then
echo "Error, input form should be: (xx, yy, zz)"
exit 98
fi
# 提取内容，并将其格式化为紧凑形式，例如：("xx", "yy", zz)=>xx,yy,zz
str_arr_content=`echo "$str_arr" | sed -e "s/^.//" -e "s/.$//" -e "s/^[ ]*\"\\{0,1\\}//" -e "s/^\\t*\"\\{0,1\\}//" -e "s/\"\\{0,1\\}[ ]$//" -e "s/\"\\{0,1\\}\\t$//" -e "s/\"\\{0,1\\}[ ]*,[ ]*\"\\{0,1\\}/,/g" -e "s/\"\\{0,1\\}\\t*,\\t*\"\\{0,1\\}/,/g"`
#echo $str_arr_content
OLD_IFS="$IFS"
IFS=","
rst_arr=($str_arr_content)
IFS="$OLD_IFS"
for s in ${rst_arr[@]}
do
echo "$s"
done
#######################
# 把字符串转换为关联数组 #
#######################
str_dict=' { "key1" : "val1" , "key2":"val2",key3:val3 ,key4:val4} '
#str_dict="{}"
# 去除前后的空白符
str_dict=`echo "$str_dict" | sed -e "s/^[ ]*//" -e "s/^\\t*//" -e "s/[ ]$//" -e "s/\\t$//"`
if [[ -z "$str_dict" ]];then
echo "Error, inptut is null."
exit 99
fi
echo "$str_dict" | grep -q -E "^\\{.*\\}$"
if [[ $? != 0 ]];then
echo "Error, input form should be: {xx, yy, zz}"
exit 98
fi
# 提取内容，并将其格式化为紧凑形式，例如：{"key1": "val1", key2: val2}=>key1:val1,key2:val2
str_dict_content=`echo "$str_dict" | sed -e "s/^.//" -e "s/.$//" -e "s/^[ ]*\"\\{0,1\\}//" -e "s/^\\t*\"\\{0,1\\}//" -e "s/\"\\{0,1\\}[ ]$//" -e "s/\"\\{0,1\\}\\t$//" -e "s/\"\\{0,1\\}[ ]*,[ ]*\"\\{0,1\\}/,/g" -e "s/\"\\{0,1\\}\\t*,\\t*\"\\{0,1\\}/,/g" -e "s/\"\\{0,1\\}[ ]*:[ ]*\"\\{0,1\\}/:/g" -e "s/\"\\{0,1\\}\\t*:\\t*\"\\{0,1\\}/:/g"`
#echo $str_arr_content
OLD_IFS="$IFS"
IFS=","
kv_arr=($str_dict_content)
IFS="$OLD_IFS"
# 声明关联数组，需要BashShell版本在4.0以上才支持
declare -A rst_dict
for kv in ${kv_arr[@]}
do
#echo $kv
key=${kv%%:*}
#echo $key
if [[ -z "$key" ]];then
continue
fi
value=${kv##*:}
#echo $value
rst_dict["$key"]="$value"
#echo ${rst_dict["$key"]}
done
for index in ${!rst_dict[*]}
do
echo ${index}"=>"${rst_dict[$index]}
done
val=${rst_dict["notExist"]}
if [[ -z "$val" ]];then
echo "not exist!"
fi
52. atnodes和tonodes等批量操作工具
工具github首页地址：https://github.com/agentzh/sshbatch
工具使用perl编写，只依赖Net::OpenSSH，也就是依赖OpenSSH客户端（ssh命令）的。安装和使用等更多内容参见其github首页。
# 示例：在多台机器上批量执行命令
atnodes 'pwd' myMachine[1-5].com
# 用法说明
atnodes -h
USAGE:
atnodes [OPTIONS] COMMAND... -- HOST_PATTERN... [OPTIONS]
atnodes [OPTIONS] COMMAND HOST_PATTERN... [OPTIONS]
OPTIONS:
-c Set SSH concurrency limit. (default: 20,
when -tty is on, this setting will no use)
-h Print this help.
-l List the hosts and do nothing else.
-L Use the line-mode output format, i.e., prefixing
every output line with the machine name.
(could be controlled by the env SSH_BATCH_LINE_MODE)
-p Port for the remote SSH service.
-ssh Specify an alternate ssh program.
(This overrides the SSH_BATCH_SSH_CMD environment.)
-t Specify timeout for net traffic.
-u User account for SSH login.
-v Be verbose.
-w Prompt for password (used for both login and sudo,
could be privided by SSH_BATCH_PASSWORD).
-W Prompt for password (just for sudo),
should not be used with -w.
-P Prompt for passphrase (used for login,
could be privided by SSH_BATCH_PASSPHRASE).
-tty Pseudo-tty.
-q Run SSH in quiet mode
# 示例：在多台机器上批量上传文件
tonodes ./source.txt myMachine[1-5].com:~/
# 用法说明
tonodes -h
USAGE:
tonodes [OPTIONS] FILE... -- HOST_PATTERN... [OPTIONS]
tonodes [OPTIONS] FILE HOST_PATTERN... [OPTIONS]
OPTIONS:
-c Set SSH concurrency limit. (default: 20)
-b bandwidth limit in Kbits/sec.
-g Use glob to process the input files/directories.
-h Print this help.
-l List the hosts and do nothing else.
-L Use the line-mode output format, i.e., prefixing
every output line with the machine name.
(could be controlled by the env SSH_BATCH_LINE_MODE)
-p Port for the remote SSH service.
-r Recurse into directories too.
-rsync Use "rsync" to transfer files.
-archive Enable rsync archive mode
-update Enable rsync update
-compress Enable rsync compress
-t Specify timeout for net traffic.
-u User account for SSH login.
-v Be verbose.
-w Prompt for password (used mostly for login and sudo,
could be privided by SSH_BATCH_PASSWORD).
-P Prompt for passphrase (used mostly for login,
could be privided by SSH_BATCH_PASSPHRASE).
53. 批量执行一个文件里命令行
#! /bin/sh
if (( $# < 1 ))
then
echo "Missing Param: Command File, Quit Now."
exit -1
fi
function beforeRun()
{
echo "In before Run: "
echo "$1"
}
function afterRun()
{
echo "In after Run: "
echo "$2"
}
while read line
do
beforeRun "$line"
result=`$line`
afterRun "$line" "$result"
done < "$1"
54. 完成对json的操作
命令jq
安装方法：参见官网教程： https://stedolan.github.io/jq/download/ （除了其上列出的命令，还可以直接下载其2进制文件使用）
用法参见：https://blog.csdn.net/yanbingquan/article/details/50770911
55. windows换行CRLF和linux换行LF转换
早年电传打字机有2个概念：一个叫做"回车"(Carriage Return)，简称CR，计算机中标记为\r；另一个叫做"换行"（Linefeed），简称LF，计算机标记为\n。
windows系统中，每行结尾是CRLF；linux系统中，每行结尾是LF；mac系统中，每行结尾是CR。
可以使用file命令来查看结果，例如：
file test.sh
test.sh: ASCII text, with CRLF line terminators
file test2.sh: ASCII text
转换的命令：
#将具有windows风格的格式文件转化为unix下的格式文件
dos2unix
sed -i 's/\r//' filename1 filename2 ...
#将具有unix风格的格式文件转化为具有window下的格式文件
unix2dos56. Java相关问题的排查工具和命令
jps
jps是jdk提供的一个查看当前java进程的小工具， 可以看做是JavaVirtual Machine Process Status Tool的缩写。非常简单实用。
示例：sudo jps -mlvV
显示的信息大致等价于：ps aux | grep java
jstack
Java 中jstack命令可以打印出给定的java进程ID或core file或远程调试服务的Java堆栈信息。
一般情况下，通过jstack输出的线程信息主要包括：jvm自身线程、用户线程等。
常用于分析Java应用的性能问题，例如：线程死锁，CPU的负载高等。
命令帮助参见：
https://docs.oracle.com/javase/8/docs/technotes/tools/unix/jstack.html
Java进程状态的枚举意义参见:
https://docs.oracle.com/javase/8/docs/technotes/guides/troubleshoot/tooldescr034.html
用法示例：sudo -u
其中，
实战用法参见：
https://blog.csdn.net/yx0628/article/details/80954149
https://www.sohu.com/a/162268546_680421
jinfo
jinfo可以用来查看正在运行的java运用程序的扩展参数，甚至支持在运行时动态地更改部分参数。
示例：sudo jinfo
其中，pid是java进程的pid
jmap
Jmap是一个可以输出所有内存中对象的工具，甚至可以将VM 中的heap，以二进制输出成文本。打印出某个java进程（使用pid）内存内的，所有‘对象’的情况（如：产生那些对象，及其数量）。
示例：sudo jmap -heap
打印指定pid的java进程的heap的概要信息，GC使用的算法，heap的配置及wise heap的使用情况。
示例：sudo -u
打印每个class的实例数目,内存占用,类全名信息。VM的内部类名字开头会加上前缀”*”。如果live子参数加上后,只统计活的对象数量。
示例：sudo -u
在目录/tmp下生成heap dump离线文件heap.heapprofile，以方便进一步做分析。例如追查内存泄露的原因。
实战用法参考：
https://blog.csdn.net/zhaozheng7758/article/details/8623530
https://blog.csdn.net/alli0968/article/details/52460008
jstat
Jstat是JDK自带的一个轻量级小工具。全称“Java Virtual Machine statistics monitoring tool”，它位于java的bin目录下，主要利用JVM内建的指令对Java应用程序的资源和性能进行实时的命令行的监控，包括了对Heap size和垃圾回收状况的监控。
示例：sudo jstat -gcutil
查看gc的统计信息，关注点 主要是 已使用/总空间的占比情况。结果详情参见：https://blog.csdn.net/kuangay/article/details/80712837
命令详解：
https://blog.csdn.net/zhaozheng7758/article/details/8623549
https://www.cnblogs.com/boothsun/p/8127552.html
dmesg
示例：dmesg | grep --color -C50 'killer'
如果发现自己的java进程悄无声息的消失了，几乎没有留下任何线索，那么可能是被系统oom kill掉了，使用上述命令进行排查。
因为该行为会被记录进系统日志，也可以使用如下命令查看，还可以看到发生时间：
sudo grep --color -C50 'killer' /var/log/kernlog
具体原理说明：https://blog.csdn.net/tterminator/article/details/78177945
57. 进度条函数
function bar()
{
# 没有参数时，默认不使用带颜色的bar
# 有参数时，如果参数为0-7则使用对应颜色的bar；否则使用变色的bar
colorCode="false"
if (( $# > 0 ))
then
# 判断是否是数字
echo "$1" | grep -E "^[0-9][0-9]*$" > /dev/null
if (( $? == 0 ))
then
colorCode=$1
else
colorCode=-1
fi
fi
i=0
bar=""
label=('|' '\\' '-' '/')
while [[ $i -le 100 ]]
do
let index=i%4
if [[ "$colorCode" != "false" ]]
then
if (( "$colorCode" >= 0 && "$colorCode" <= 7 ))
then
echo -en "\e[1;3"$colorCode"m" #使用固定颜色
else
let color=30+i%8 #字体有8种状态30~37
echo -en "\e[1;"$color"m" #sleep一次，字体换一次颜色
fi
fi
printf "[%-100s][%d%%][%c]\r" "$bar" "$i" "${label[$index]}"
bar+='#'
sleep 0.1
let i++
done
echo "" #效果相当于一个换行
if [[ "$colorCode" != "false" ]]
then
echo -e "\e[0m" #回复到原来颜色
fi
}
58. 把批量机器表示形式处理为机器列表
例如：
把l-test[1-3].test.com处理为
l-test1.test.com
l-test2.test.com
l-test3.test.com
代码：
MACHINES_LIST=input.txt
while read line
do
echo "$line" | awk '{if(match($0, /\[(.*)\]/)){sep_ind=index(substr($0, RSTART, RLENGTH), "-");mac_start=substr($0, RSTART+1, sep_ind-2);mac_end=substr($0, RSTART + sep_ind, RLENGTH - sep_ind -1);prefix=substr($0, 1, RSTART - 1);suffix=substr($0, RSTART + RLENGTH);for(i=mac_start+0;i<=mac_end+0;i++){print prefix""i""suffix};} else {print $0}}' >> single-machine-list.txt
done < ${MACHINES_LIST}