一些实用的Linux命令
1. 以前经常想删除一些先前的trace File同时保留最新的File，苦思良久却无从下手，只好把所有的File一并删掉，诚惶诚恐。今天看见cut命令后顿时豁然开朗，相见恨晚啦！
cut命令可以从一个文本文件或者文本流中提取文本列
命令用法：
cut -b list [-n] [file ...]
cut -c list [file ...]
cut -f list [-d delim][-s][file ...]
上面的-b、-c、-f分别表示字节、字符、字段（即byte、character、field）；
list表示-b、-c、-f操作范围，-n常常表示具体数字；
file自然是表示要操作的文本文件的名称；
delim（delimiter）表示分隔符，默认情况下为TAB；
-s表示不包括那些不含分隔符的行（这样有利于去掉注释和标题）
上面三种方式中，表示从指定的范围中提取字节（-b）、或字符（-c）、或字段（-f）。
其中，范围的表示方法为(M,N表示数字)：
N 只有第N项
N-从第N项一直到行尾
N-M 从第N项到第M项(包括M)
-M从一行的开始到第M项(包括M)
-从一行的开始到结束的所有项
如：
-c3 提取第3个字符
-c3- 提取第3个字符以后的字符
-c1,3,7 提取第1,3,12位置字符，数字之间用“，”符号隔开
-c3-15 提取第3个字符到第15个字符间的字符
实例：
ubuntu/home/newuser/xujun>ll t*.txt
-rw-r--r-- 1 rbmwsft1 rbmwsftp 57914 May 4 17:06 t1.txt
-rw-r--r-- 1 rbmwsft1 rbmwsftp 73 May 5 09:37 t4.txt
-rw-r--r-- 1 newuser rbmwgp 66 May 5 09:37 tgb.txt
-rw-r--r-- 1 rbmwsft1 rbmwsftp 110 May 5 10:52 t16.txt
-rw-r--r-- 1 newuser rbmwgp 0 May 5 10:52 t16gb.txt
-rw-r--r-- 1 newuser rbmwgp 0 May 5 16:13 t5.txt
ubuntu/home/newuser/xujun>ll t*.txt|cut -c3
w
w
w
w
w
w
ubuntu/home/newuser/xujun>ll t*.txt|cut -c3-
w-r--r-- 1 rbmwsft1 rbmwsftp 57914 May 4 17:06 t1.txt
w-r--r-- 1 rbmwsft1 rbmwsftp 73 May 5 09:37 t4.txt
w-r--r-- 1 newuser rbmwgp 66 May 5 09:37 tgb.txt
w-r--r-- 1 rbmwsft1 rbmwsftp 110 May 5 10:52 t16.txt
w-r--r-- 1 newuser rbmwgp 0 May 5 10:52 t16gb.txt
w-r--r-- 1 newuser rbmwgp 0 May 5 16:13 t5.txt
ubuntu/home/newuser/xujun>ll t*.txt|cut -c1,3,5
-wr
-wr
-wr
-wr
-wr
-wr
ubuntu/home/newuser/xujun>ll t*.txt|cut -c'1 2 3'
-rw
-rw
-rw
-rw
-rw
-rw
(这里数字代表field，数字之间以空格分隔，分隔符会一并输出)
ubuntu/home/newuser/xujun>ll t*.txt|cut -b 1,2,3
-rw
-rw
-rw
-rw
-rw
-rw
(因为每个因为字符都占一个字节，所以这里看不出-c和-b的区别，当遇到多字节字符时，可以使用-n选项，-n用于告诉cut不要将多字节字符拆开，如：cut -nb 1,2,3)
ubuntu/home/newuser/xujun>ll t*.txt|cut -b 1,6-7
---
---
---
---
---
---
ubuntu/home/newuser/xujun>ll t*.txt|cut -b 46-54
May 4 17
May 5 09
May 5 09
May 5 10
May 5 10
May 5 16
ubuntu/home/newuser/xujun>ll t*.txt|cut -d: -f1
-rw-r--r-- 1 rbmwsft1 rbmwsftp 57914 May 4 17
-rw-r--r-- 1 rbmwsft1 rbmwsftp 73 May 5 09
-rw-r--r-- 1 newuser rbmwgp 66 May 5 09
-rw-r--r-- 1 rbmwsft1 rbmwsftp 110 May 5 10
-rw-r--r-- 1 newuser rbmwgp 0 May 5 10
-rw-r--r-- 1 newuser rbmwgp 0 May 5 16
ubuntu/home/newuser/xujun>ll t*.txt|cut -d ' ' -f 5
rbmwsft1
rbmwsft1
newuser
rbmwsft1
newuser
newuser
(如果文件里面的某些域是由若干个空格来间隔的，那么用cut就有点麻烦了，因为cut只擅长处理“以一个字符间隔”的文本内容。另外，sed -n l 命令可查看field之间到底是空格还是tab键，tab键以/t显示)
现在我们再回过头来看看如何删除指定日期的文件，要想删除这些文件必定要先取其文件名，前面的例子我们已经 取出了时间，料想取出文件名我们只须沿用此法就好了。
for line in $(ll t*.txt|cut -c 46-48,51,59-)
do
if [ $(print $line|cut -c1-4) = "May4" ]
then
rm $(print $line|cut -c5-)
fi
done
(注：时间和文件名的位置需根据时间情况对待)
2. xargs-从标准输出建立并运行命令行
example1
描述：输出当前目录下所有符号链接或经过压缩的ASCII文件并显示
命令：file -Lz * | grep ASCII | cut -f1 -d: | xargs ls -ltr
解释：
file -Lz *：用于查找是符号链接或者经过压缩的文件；
输出结果:
anaconda-ks.cfg: ASCII English text
install.log: ASCII text
insall.log.syslog: ASCII text
mbox: ASCII mail text
grep ASCII：用于搜索包含 "ASCII" 字符的字符串并产生；
输出结果：
anaconda-ks.cfg: ASCII English text
install.log: ASCII text
insall.log.syslog: ASCII text
mbox: ASCII mail text
cut -f1 -d：表示采用冒号作为分隔符，并取出第一列。所以尽显示文件名;
输出结果：
anaconda-ks.cfg
install.log
install.log.syslog
mbox
xargs：将上述列表作为参数进行传递，一次传递一个。
xargs ls -ltr：用于接收输出并对其执行 ls -ltr 命令，命令等价于：
ls -ltr anaconda-ks.cfg
ls -ltr install.log
ls -ltr install.log.syslog
ls -ltr mbox
结果大家应该都知道了吧。
xargs 本身虽然没有多大用处，但在与其他命令相结合时，它的功能非常强大。
example2
描述：计算当前目录下各个文件行数：
命令：file * | grep ASCII | cut -f1 -d: | xargs wc -l
解释：（无）
结果：
40 anaconda-ks.cfg
452 install.log
53 install.log.syslog
68 mbox
613 total
example3
描述：用vi打开匹配后的文件
命令：file * | grep ASCII | cut -f1 -d: | xargs vi
解释：
该命令使用 vi 逐个打开文件。当您希望搜索多个文件并打开它们进行编辑时，使用该命令非常方便。
example4
描述：快速重命名目录中的文件。
命令：ls | xargs -i mv {} {}.old
解释：
-i 选项告诉 xargs 用每项的名称替换 {}。
xargs还有几个选项：
-p 选项；它使操作具有可交互性：
命令： file * | grep ASCII | cut -f1 -d: | xargs -p vi
此处的 xarg 要求您在运行每个命令之前进行确认。如果您按下 "y"，则执行命令。
-t 选项；使用一个详细模式，显示要运行的命令，是调试过程中一个非常有帮助的选项。
如果传递给 xargs 的输出为空怎么办？考虑以下命令：
命令：file * | grep 12345 | cut -f1 -d: | xargs -t wc -l
wc -l
0
此处，搜索 "12345" 后没有匹配的内容；因此 xargs 的输入均为空，如第二行所示（由于我们使用 -t 这个详细选项而产生的结果）。
-r选项；虽然这可能会有所帮助，但在某些情况下，如果没有要处理的内容，您可能希望停止 xargs；如果是这样，可以使用 -r 选项：
命令： file * | grep 12345 | cut -f1 -d: | xargs -t -r wc -l
如果没有要运行的内容，该命令退出。
-n选项；修改单个命令行传递的参数个数。例如我们即使向 xargs ls -ltr 传递五个文件，但每次向 ls -ltr 仅传递两个文件。
命令：file * | grep ASCII | cut -f1 -d: | xargs -t -n2 ls -ltr
3. iconv命令
Linux 下的 iconv 命令可以来处理字符编码的转换，基本命令格式如下：
iconv -f fromcode -t tocode [file ...]
-f 代表 from，-t 代表 to。
其中fromcode 和 tocode可以代表iconv配置文件中的所有编码基名或者别名,该配置文件位于/usr/lib/nls/iconv/config.iconv
ubuntu/usr/lib/nls/iconv>grep utf8 config.iconv
alias utf8 UTF8 UTF-8
ucs2 utf8 - lucs2utf.sl -
utf8 ucs2 - lutfucs2.sl -
ucs4 utf8 - lucs4utf.sl -
utf8 ucs4 - lutfucs4.sl -
vroma8 utf8 roma8=ucs2 lsbutf8.sl -
iso81 utf8 iso81=ucs2 lsbutf8.sl -
------------------------------------------------------
事实上，我们用locale -a命令可以查看当前系统中所有可用的字符集。
如：
ubuntu/home/newuser/xujun>locale -a|grep gb
zh_CN.gb18030
以下实例将utf8格式的文件转换为gb8030
iconv -f utf8 -t gb18030 t16.txt > t16gb.txt
在LINUX上进行编码转换时,既可以利用iconv函数族编程实现,也可以利用iconv命令来实现,只不过后者是针对文件的,即将指定文件从一种编码转换为另一种编码。
一、利用iconv函数族进行编码转换
iconv函数族的头文件是iconv.h,使用前需包含之。
#include <iconv.h>
iconv函数族有三个函数,原型如下:
(1) iconv_t iconv_open(const char *tocode, const char *fromcode);
此函数说明将要进行哪两种编码的转换,tocode是目标编码,fromcode是原编码,该函数返回一个转换句柄,供以下两个函数使用。
(2) size_t iconv(iconv_t cd,char **inbuf,size_t *inbytesleft,char **outbuf,size_t *outbytesleft);
此函数从inbuf中读取字符,转换后输出到outbuf中,inbytesleft用以记录还未转换的字符数,outbytesleft用以记录输出缓冲的剩余空间。
(3) int iconv_close(iconv_t cd);
此函数用于关闭转换句柄,释放资源。
用C++语言实现的转换示例程序
/* f.cpp : 代码转换示例C++程序 */
#include <iconv.h>
#include <iostream>
#define OUTLEN 255
using namespace std;
// 代码转换操作类
class CodeConverter {
private:
iconv_t cd;
public:
// 构造
CodeConverter(const char *from_charset,const char *to_charset) {
cd = iconv_open(to_charset,from_charset);
}
// 析构
~CodeConverter() {
iconv_close(cd);
}
// 转换输出
int convert(char *inbuf,int inlen,char *outbuf,int outlen) {
char **pin = &inbuf;
char **pout = &outbuf;
memset(outbuf,0,outlen);
return iconv(cd,pin,(size_t *)&inlen,pout,(size_t *)&outlen);
}
};
int main(int argc, char **argv)
{
char *in_utf8 = "姝ｅ?ㄥ??瑁?"; //此处应将源文件保存为utf8格式。
char *in_gb2312 = "正在安装"; //此处应将源文件保存为gb2312格式。
char out[OUTLEN];
// utf-8-->gb2312
CodeConverter cc = CodeConverter("utf-8","gb2312");
cc.convert(in_utf8,strlen(in_utf8),out,OUTLEN);
cout << "utf-8-->gb2312 in=" << in_utf8 << ",out=" << out << endl;
// gb2312-->utf-8
CodeConverter cc2 = CodeConverter("gb2312","utf-8");
cc2.convert(in_gb2312,strlen(in_gb2312),out,OUTLEN);
cout << "gb2312-->utf-8 in=" << in_gb2312 << ",out=" << out << endl;
}
4. awk命令
awk是一种用于处理数据和生成报告的编程语言。
一般的使用格式是：
awk '{pattern + action}' {filenames}
pattern指在每一行中进行匹配的条件，action指针对符合条件的行进行的操作，filenames是输入的文件名。
我们还是以先前第1例中获取特定日期的文件名为例
ubuntu/home/newuser/xujun>ll t*.txt
-rw-r--r-- 1 rbmwsft1 rbmwsftp 73 May 5 09:37 t4.txt
-rw-r--r-- 1 newuser rbmwgp 66 May 5 09:37 tgb.txt
-rw-r--r-- 1 rbmwsft1 rbmwsftp 110 May 5 10:52 t16.txt
-rw-r--r-- 1 newuser rbmwgp 0 May 5 10:52 t16gb.txt
-rw-r--r-- 1 newuser rbmwgp 0 May 5 16:13 t5.txt
-rw-r--r-- 1 newuser rbmwgp 0 Jun 1 16:02 t6.txt
-rw-r--r-- 1 newuser rbmwgp 0 Jun 1 16:02 t7.txt
a. 提取指定列的数据
ubuntu/home/newuser/xujun>ll t*.txt | awk '{ print $6,$7 }'
May 5
May 5
May 5
May 5
May 5
Jun 1
Jun 1
b. 格式化输出
ubuntu/home/newuser/xujun>ll t*.txt | awk '{ print $6"/t",$7 }'
May 5
May 5
May 5
May 5
May 5
Jun 1
Jun 1
c. 加提取条件
ubuntu/home/newuser/xujun>ll t*.txt| awk '/Jun 1/ { print $9 }'
t6.txt
t7.txt
此处我们提取日期为“Jun 1”的文件名，一步到位。此时我们想删除这些文件，易如反掌，哈哈~~~
多个条件以“|”分隔，
ubuntu/home/newuser/xujun>ll t*.txt| awk '/Jun 1|110/ { print $9 }'
t16.txt
t6.txt
t7.txt
这里的"|"应该是或的作用，而不是管道
d. 正则表达式的应用
ubuntu/home/newuser/xujun>ll t*.txt | awk '/t[46]/ { print $9 }'
t4.txt
t6.txt
e. 计算后输出
ubuntu/home/newuser/xujun>ll t*.txt | awk '/t[46]/ { print $7+1,$9 }'
6 t4.txt
2 t6.txt
(第7域加1)
ubuntu/home/newuser/xujun>ll t*.txt | awk '/t[46]/ { print $3, $9 } { print $7+1 }'
rbmwsft1 t4.txt
6
6
6
6
6
newuser t6.txt
2
2
(匹配只对第一个花括号有用，由结果我们不难看出满足t*.txt的所有输出行第7域均加了1)
g. 使用"n"而不是空格做为分隔符
ubuntu/home/newuser/xujun>ll t*.txt | awk 'FS="n" { print $1 } '
-rw-r--r-- 1 rbmwsft1 rbmwsftp 73 May 5 09:37 t4.txt
-rw-r--r-- 1 newuser rbmwgp 66 May 5 09:37 tgb.txt
-rw-r--r-- 1 rbmwsft1 rbmwsftp 110 May 5 10:52 t16.txt
-rw-r--r-- 1 newuser rbmwgp 0 May 5 10:52 t16gb.txt
-rw-r--r-- 1 newuser rbmwgp 0 May 5 16:13 t5.txt
-rw-r--r-- 1 newuser rbmwgp 0 Ju
-rw-r--r-- 1 newuser rbmwgp 0 Ju
h. 加分隔符输出
ubuntu/home/newuser/xujun>ll t*.txt | awk 'FS="n" { OFS = "*" } { print $1,$2 }'
-rw-r--r-- 1 rbmwsft1 rbmwsftp 73 May 5 09:37 t4.txt*
-rw-r--r-- 1 newuser rbmwgp 66 May 5 09:37 tgb.txt*
-rw-r--r-- 1 rbmwsft1 rbmwsftp 110 May 5 10:52 t16.txt*
-rw-r--r-- 1 newuser rbmwgp 0 May 5 10:52 t16gb.txt*
-rw-r--r-- 1 newuser rbmwgp 0 May 5 16:13 t5.txt*
-rw-r--r-- 1 newuser rbmwgp 0 Ju* 1 16:02 t6.txt
-rw-r--r-- 1 newuser rbmwgp 0 Ju* 1 16:02 t7.txt
i. 加行号输出
ubuntu/home/newuser/xujun>ll t*.txt | awk 'FS="n" { OFS = "*" } { print NR, $1,$2 }'
1*-rw-r--r-- 1 rbmwsft1 rbmwsftp 73 May 5 09:37 t4.txt*
2*-rw-r--r-- 1 newuser rbmwgp 66 May 5 09:37 tgb.txt*
3*-rw-r--r-- 1 rbmwsft1 rbmwsftp 110 May 5 10:52 t16.txt*
4*-rw-r--r-- 1 newuser rbmwgp 0 May 5 10:52 t16gb.txt*
5*-rw-r--r-- 1 newuser rbmwgp 0 May 5 16:13 t5.txt*
6*-rw-r--r-- 1 newuser rbmwgp 0 Ju* 1 16:02 t6.txt
7*-rw-r--r-- 1 newuser rbmwgp 0 Ju* 1 16:02 t7.txt
j. 使用变量进行累加计算
ubuntu/home/newuser/xujun>ll t*.txt | awk '{ x = x + $7 } { print NR,$7,x }'
1 5 5
2 5 10
3 5 15
4 5 20
5 5 25
6 1 26
7 1 27
K. 使用管道进行排序
ubuntu/home/newuser/xujun>ll t*.txt | awk '{ x = x + $7 } { print NR,$7,x| "sort -nr" }'
7 1 27
6 1 26
5 5 25
4 5 20
3 5 15
2 5 10
1 5 5
5. sort命令
sort命令的功能是对文件中的各行进行排序。sort命令有许多非常实用的选项，这些选项最初是用来对数据库格式的文件内容进行各种排序操作的。实际上，sort命令可以被认为是一个非常强大的数据管理工具，用来管理内容类似数据库记录的文件。
Sort命令将逐行对文件中的内容进行排序，如果两行的首字符相同，该命令将继续比较这两行的下一字符，如果还相同，将继续进行比较。
语法：
sort [选项] 文件
说明：sort命令对指定文件中所有的行进行排序，并将结果显示在标准输出上。如不指定输入文件或使用“- ”，则表示排序内容来自标准输入。
sort排序是根据从输入行抽取的一个或多个关键字进行比较来完成的。排序关键字定义了用来排序的最小的字符序列。缺省情况下以整行为关键字按ASCII字符顺序进行排序。
改变缺省设置的选项主要有：
- m 若给定文件已排好序，合并文件。
- c 检查给定文件是否已排好序，如果它们没有都排好序，则打印一个出错信息，并以状态值1退出
- u 对排序后认为相同的行只留其中一行。
- o 输出文件 将排序输出写到输出文件中而不是标准输出，如果输出文件是输入文件之一，sort先 将该文件的内容写入一个临时文件，然后再排序和写输出结果。
改变缺省排序规则的选项主要有：
- d 按字典顺序排序，比较时仅字母、数字、空格和制表符有意义。
- f 将小写字母与大写字母同等对待。
- I 忽略非打印字符。
- M 作为月份比较：“JAN”<“FEB”
- r 按逆序输出排序结果。
＋posl - pos2 指定一个或几个字段作为排序关键字，字段位置从posl开始，到pos2为止（包括posl，不包括pos2）。如不指定pos2，则关键字为从posl到行尾。字段和字符的位置从0开始。
- b 在每行中寻找排序关键字时忽略前导的空白（空格和制表符）。
- t separator 指定字符separator作为字段分隔符。
6. tr命令
格式：tr SET1 SET2
凡是在SET1中的字符，都会被替换为SET2中相应位置上的字符。tr命令不接受指定的文件参数，而只是对标准输入进行翻译。
ubuntu/home/newuser/xujun>cat in.txt
dfdafd
ffaf
faljd
fdfjdjd
dffss
ubuntu/home/newuser/xujun>tr fd df < in.txt
fdfadf
ddad
daljf
dfdjfjf
fddss
将所有的f替换为d，d替换为f。注意：tr命令只是对标准输入进行翻译，并没有改变原始文件。
ubuntu/home/newuser/xujun>tr fd g< in.txt
dgdagd
ggag
galjd
gdgjdjd
dggss
将f替换为g，d并没有被替换。
ubuntu/home/newuser/xujun>cat in.txt
abcdefghijk
ubuntu/home/newuser/xujun>tr 'a-z' 'A-Z' < in.txt
ABCDEFGHIJK
将所有的小写字母替换为大写字母
ubuntu/home/newuser/xujun>tr 'a-f' '[A*]' <in.txt
AAAAAAghijk
将字符a-f全部用A替换掉。
ubuntu/home/newuser/xujun>tr 'a-f' '[A*3]BCD' < in.txt
AAABCDghijk
将a-c用A替换,d-f分别用B、C、D替换
ubuntu/home/newuser/xujun>cat in.txt
You are welcome!
ubuntu/home/newuser/xujun>tr -s ' ' ' ' <in.txt
You are welcome!
"s"选项可缩减相同字符
ubuntu/home/newuser/xujun>tr -d ' ' <in.txt
Youarewelcome!
"d"选项看删除指定字符。