本文主要介绍简单的文本处理,本课程配套在线实验环境。http://www.shiyanlou.com/courses/1。
一、数据流重定向
你可能对重定向这个概念感到些许陌生,但你应该在前面的课程中多次见过>
或>>
操作了,并知道他们分别是将标准输出导向一个文件或追加到一个文件中。这其实就是重定向,将原本输出到标准输出的数据重定向到一个文件中,因为标准输出(/dev/stdout
)本身也是一个文件,我们将命令输出导向另一个文件自然也是没有任何问题的。
下面我们简单的回顾一下我们前面经常用到的两个重定向操作:
$ echo 'hello shiyanlou' > redirect
$ echo 'www.shiyanlou.com' >> redirect
$ cat redirect
当然前面没有用到的<
和<<
操作也是没有问题的,如你理解的一样,它们的区别在于重定向的方向不一致而已,>
表示是从左到右,<
右到左
1.简单的重定向
在更多了解linux的重定向之前,我们需要先知道一些基本的东西,前面我们已经提到过linux默认提供了三个特殊设备,用于终端的显示和输出,分别为stdin
(标准输入,对应于你在终端的输入),stdout
(标准输出,对应于终端的输出),stderr
(标准错误输出,对应于终端的输出)。
文件描述符 | 设备文件 | 说明 |
---|---|---|
0 |
/dev/stdin |
标准输入 |
1 |
/dev/stdout |
标准输出 |
2 |
/dev/stderr |
标准错误 |
文件描述符:文件描述符在形式上是一个非负整数。实际上,它是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时,内核向进程返回一个文件描述符。在程序设计中,一些涉及底层的程序编写往往会围绕着文件描述符展开。但是文件描述符这一概念往往只适用于UNIX、Linux这样的操作系统。
另外还有一个符号-
,它可以同时作为前一个命令的
我们可以这样使用这些文件描述符
# 默认使用终端的标准输入作为命令的输入和标准输出作为命令的输出
$ cat
# 将一个文件作为命令的输入,标准输出作为命令的输出
$ cat Documents/test.c\~
# 将echo命令通过管道传过来的数据作为cat命令的输入,将标准输出作为命令的输出
$ echo 'hi' | cat
# 将echo命令的输出从默认的标准输出重定向到一个普通文件
$ echo 'hello shiyanlou' > redirect
$ cat redirect
初学者这里要注意不要将管道和重定向混淆,管道默认是连接前一个命令的输出到下一个命令的输入,二重定向通常是需要一个文件来建立两个命令的连接,你可以仔细体会一下上述第三个操作和最后两个操作的异同点。
2.标准错误重定向
重定向标准输出到文件,这是一个很实用的操作,另一个很实用的操作是将标准错误重定向,标准输出和标准错误都被指向伪终端的屏幕显示,所以我们经常看到的一个命令的输出通常是同时包含了标准输出和标准错误的结果的。比如下面的操作:
# 使用cat 命令同时读取两个文件,其中一个存在,另一个不存在
$ cat Documents/test.c\~ hello.c
# 你可以看到除了正确输出了前一个文件的内容,还在末尾出现了一条错误信息
# 下面我们将输出重定向到一个文件,根据我们前面的经验,这里将在看不到任何输出了
$ cat Documents/test.c\~ hello.c > somefile
遗憾的是,这里依然出现了那条错误信息,这正是因为如我上面说的那样,标准输出和标准错误虽然都指向终端屏幕,实际它们并不一样。那有的时候我们就是要可以隐藏某些错误或者警告,那又该怎么做呢。这就需要用到我们前面讲的文件描述符了
# 将标准错误重定向到标准输出,再将标准输出重定向到文件,注意要将重定向到文件写到前面
$ cat Documents/test.c\~ hello.c >somefile 2>&1
# 或者只用bash提供的特殊的重定向符号"&"将标准错误和标准输出同时重定向到文件
$ cat Documents/test.c\~ hello.c &>somefilehell
注意你应该在输出重定向文件描述符前加上&
,否则shell会当做重定向到一个文件名为1的文件中
3.使用tee
命令同时重定向到多个文件
经常你可能还有这样的需求,除了将需要将输出重定向到文件之外也需要将信息打印在终端,那么你可以使用tee
命令来实现
$ echo 'hello shiyanlou' | tee hello
4.永久重定向
你应该可以看出我们前面的重定向操作都只是临时性的,即只对当前命令有效,那如何做到“永久”有效呢,比如在一个脚本中,你需要某一部分的命令的输出全部进行重定向,难道要让你在每个命令上面加上临时重定向的操作嘛,当然不需要,我们可以使用exec
命令实现“永久”重定向。exec
命令的作用是使用指定的命令替换当前的shell,及使用一个进程替换当前进程,或者指定新的重定向
# 先开启一个子shell
$ zsh
# 使用exec替换当前进程的重定向,将标准输出重定向到一个文件
$ exec 1>somefile
# 后面你执行的命令的输出都将被重定向到文件中,直到你退出当前子shell,或取消exec的重定向(后面将告诉你怎么做)
$ ls
$ exit
$ cat somefile
5.创建输出文件描述符
默认在shell中可以有9个打开的文件描述符,上面我们使用了也是它默认提供的0
,1
,2
号文件描述符,另外我们还可以使用3-8的文件描述符,只是它们默认没有打开而已,你可以使用下面命令查看当前shell进程中打开的文件描述符
$ cd /dev/fd/;ls -Al
同样使用exec
命令可以创建新的文件描述符
$ zsh
$ exec 3>somefile
# 先进入目录,再查看,否则你可能不能得到正确的结果,然后再回到上一次的目录
$ cd /dev/fd/;ls -Al;cd -
$ echo "this is test" > &3
$ cat somefile
$ exit
6.关闭文件描述符
如上面我们打开的3号文件描述符,可以使用如下操作将它关闭
$ exec 3>&-
$ cd /dev/fd;ls -Al;cd -
7.完全屏蔽命令的输出
在linux中有一个被成为“黑洞”的设备文件,所以导入它的数据都将被“吞噬”.
在类Unix系统中,/dev/null,或称空设备,是一个特殊的设备文件,它通常被用于丢弃不需要的输出流,或作为用于输入流的空文件,这些操作通常由重定向完成。读取它则会立即得到一个EOF。
我们可以利用设个/dev/null
屏蔽命令的输出
$ cat Documents/test.c\~ nefile 1>/dev/null 2>&1
向上面这样的操作将使你得不到任何输出结果
8.使用xargs分割参数列表
xargs是一条Unix和类Unix操作系统的常用命令。它的作用是将参数列表转换成小块分段传递给其他命令,以避免参数列表过长的问题。
这个命令在有些时候十分有用,特别是当用来处理产生大量输出结果的命令如find,locate和grep的结果,详细用法请参看man文档
$ cut -d: -f1 < /etc/passwd | sort | xargs echo
上面这个命令用于将/etc/passwd
文件安:
分割取第一个字段排序后,使用echo
命令生成一个列表
9.思考题
理解下面这段代码的的作用,实际这段代码不会正常工作,请结合这一小节的知识分析这段代码没有正确工作的原因,并设法解决这个问题
(如果你还没有shell脚本编程的基础,你可以选择跳过或者到这里高级shell编程指南学习)
while read filename; do
rm -iv $filename
done <<(ls)
二、linux乐趣多
之前介绍过一个在命令行将图片转换为ascii字符查看的工具aview/asciiview,不过上次那个是黑白的,不是很爽哈,这次弄个彩色的来玩玩
$ sudo apt-get install caca-utils
$ cacaview
$ cacademo
$ cacafire
补充声明
你能够喜欢我们的文章,我们在表示感谢。你愿意分享我们的文章,我们也十分欢迎。也希望你能够尊重我的劳动成果,在转载的时候保留原文链接http://www.shiyanlou.com/courses/1。