20135210——信息安全系统设计基础第一周学习总结

 

第二周（9.14-9.20）:

 

学习计时：共14小时 读书：1h 代码：5h 作业：4h 博客：4h

一、学习目标

1. 能够独立安装Linux操作系统   2. 能够熟练使用Linux系统的基本命令   3. 熟练使用Linux中用户管理命令/系统相关命令/文件目录相关命令/打包压缩相关命令/比较合并相关命令/网络相关命令等 4. 熟练应用“搜索”进行举一反三的学习

二、学习资源

1. 课程资料：https://www.shiyanlou.com/courses/413   实验一，课程邀请码：W7FQKW4Y 2. Linux 基础入门：https://www.shiyanlou.com/courses/1(重点，第一次课考核内容全部从这里面出) 3.  Linux命令：en   cn

三、学习方法

1.  进度很重要：必须跟上每周的进度，阅读，练习，问答，项目。我会认真对待每一位同学，请你不要因为困难半途而废。 2. 问答很重要：遇到知识难点请多多提问，这是你的权利更是您对自己负责的义务。问答到博客园讨论小组： http://group.cnblogs.com/103791/ 3. 实践很重要：解决书中习题，实践书中实例，完成每周项目，才算真的消化了这本好书。通过实验楼环境或自己安装的虚拟机在实践中进行学习 4. 实验报告很重要：详细记录你完成项目任务的思路，获得老师点评和帮助自己复习。学习完成后在博客园中（ http://www.cnblogs.com/）把学习过程通过博客发表，博客标题“信息安全系统设计基础第一周学习总结”

四、学习任务

（提示：请将要求学生完成的任务、测验或思考题列在此处）   1. 重点学习 cheat/find/locate/grep/man/whereis/which/apt-get      查找帮助文档、各种示例多多练习，这几个命令会贯穿我们整个学习的学习，掌握这几个命令就可以很好学习其他命令了。   2. 这学期需要掌握的命令有ac,apt-get,bzip2,cat,chgrp,chmod,chown,clear,compress,cp,dd,df,diff,du,dump,evn,find,finger,free,grep,gzip,head,kill,less,ln,locate,l,gout,ls,man,mkdir,more,mount,mt,mv,netstat,nslookup,od,passwd,patch,ps,pstop,pwd,rm,shell,sort,ssh,stty,tail,tar,telnet,touch,tree,uname,unzip,vi,vim,whereis,which,who,write等   3. 测试示例：   请在虚拟机中安装DDD软件（其他软件） 请演示怎么判断DDD软件能不能安装 请查找系统中50M以上的文件 请查找系统中两天前修改过的且小于5M的文件 请问如何查找操作系统的信息 请查找当前目录下所有*.c文件中哪个文件中包含main函数 请建立一个目录，里面建立两个子文目录，如何一条命令删除三个目录？ 如何把一个目录及子目录拷贝到自己的主目录中 ...

五、后续学习预告（可选）：

Linux下C语言编程基础： VIM进行编辑 GCC进行编译 GDB进行调试 Make进行自动化

六、学习过程

（提示：此处由学生填写，学习过程，学习笔记，代码编译，运行结果，思考等） 1. 重要知识点总结梳理： 2. 教材代码编译运行 3. 课后作业 4. ......   参考资料：（参考论文、图书、网站、同学的内容一定要进行标注，否则以作弊论处，本次作业判0，三次以上的以课程考试作作弊论，并在立此存照（http://www.cnblogs.com/rocedu/p/4795939.html）中曝光）       Linux 简介 实验介绍 本节主要介绍 Linux 的历史，Linux 与 Windows 的区别等入门知识。   一、Linux 为何物   Linux 就是一个操作系统，Linux 也就是系统调用和内核那两层。   二、Linux 历史简介 操作系统始于二十世纪 50 年代，当时的操作系统能运行批处理程序。批处理程序不需要用户的交互，它从文件或者穿孔卡片读取数据，然后输出到另外一个文件或者打印机。 二十世纪六十年代初，交互式操作系统开始流行。它不仅仅可以交互，还能使多个用户从不同的终端同时操作主机。这样的操作系统被称作分时操作系统，它的出现对批处理操作系统是个极大的挑战。许多人尝试开发分时操作系统， 其中包括一些大学的研究项目和商业项目。当时有一个项目叫做" Multics ",它的技术在当时很创新。" Multics "项目的开发并不顺利。它花费了远超过预计的时间来完成，却没有在操作系统市场上占到多少份额。而参加该项目的一个开发团体-贝尔实验室退出了这个项目。他们在退出后开发了他们自己的一个操作系统—— UNIX。 UNIX 最初免费发布并因此在大学里受到欢迎。后来，UNIX 实现了 TCP/IP 协议栈，成为了早期工作站的操作系统的一个流行选择。 1990年，UNIX 在服务器市场尤其是大学校园成为主流操作系统，许多校园都有 UNIX 主机，当然还包括一些研究它的计算机系的学生。这些学生都渴望能在自己的电脑上运行 UNIX 。不幸的是，从那时候开始，UNIX 开始变得商业化，它的价格也变得非常昂贵。而唯一低廉的选择就是 MINIX ,这是一个功能有限的类似 UNIX 的操作系统，作者 Andrew Tanebaum 开发它的目的是用于教学。 1991 年 10 月，Linus Torvalds（Linux 之父）在赫尔辛基大学接触 UNIX ,他希望能在自己的电脑上运行一个类似的操作系统。可是 UNIX 的商业版本非常昂贵，于是他从 MINIX 开始入手，计划开发一个比 MINIX 性能更好的操作系统。很快他就开始了自己的开发工作。他第一次发行的版本很快吸引了一些黑客。尽管最初的 Linux 并没有多少用处，但由于一些黑客的加入使它很快就具有了许多吸引人的特性，甚至一些对操作系统开发不感兴趣的人也开始关注它。 Linux 本身只是操作系统的内核。内核是使其他程序能够运行的基础。它实现了多任务和硬件管理，用户或者系统管理员交互运行的所有程序实际上都运行在内核之上。其中有些程序是必需的，比如说，命令行解释器（shell）,它用于用户交互和编写 shell 脚本（.bat文件）。 Linus没有自己去开发这些应用程序，而是使用已有的自由软件。这减少了搭建开发环境而所需花费的工作量。实际上，他经常改写内核，使得那些程序能更容易在 Linux 上运行。许多重要的软件，包括 C 编译器，都来自于自由软件基金 GNU 项目。GNU 项目开始于 1984 年，目的是为了开发一个完全类似于 UNIX 的免费操作系统。为了表扬 GNU 对 Linux 的贡献，许多人把 Linux 称为GNU/Linux（GNU 有自己的内核）。 1992－1993 年，Linux 内核具备了挑战 UNIX 的所有本质特性，包括 TCP/IP 网络，图形界面系统（X window)，Linux 同样也吸引了许多行业的关注。一些小的公司开发和发行Linux，有几十个 Linux 用户社区成立。1994 年，Linux 杂志也开始发行。 Linux 内核 1.0 在 1994 年三月发布，内核的发布要经历许多开发周期，直至到达一个稳定的版本。 下面列举一下 Linux 诞生大事件： 1965 年，Bell 实验室、MIT、GE（通用电气公司）准备开发 Multics 系统，为了同时支持 300 个终端访问主机，但是 1969 年失败了； 1969 年，Ken Thompson（C语言之父）利用汇编语言开发了 FIle Server System（Unics，即 UNIX 的原型） 1973 年，Dennis Ritchie 和 Ken Thompson 发明了 C 语言，而后写出了 UNIX 的内核 1977 年，Berkeley 大学的 Bill Joy 针对他的机器修改 UNIX 源码，称为BSD（Berkeley Software Distribution） 1979 年，UNIX 发布 System V，用于个人计算机； 1984 年，因为 UNIX 规定：“不能对学生提供源码”，Tanenbaum 老师自己编写兼容于 UNIX 的Minix，用于教学； 1984 年，Stallman 开始 GNU（GNU's Not Unix）项目，创办 FSF（Free Software Foundation）基金会； 1985 年，为了避免 GNU 开发的自由软件被其他人用作专利软件，因此创建 GPL（General Public License）版权声明； 1988 年，MIT 为了开发 GUI，成立了 XFree86 的组织； 1991 年，芬兰赫尔辛基大学的研究生 Linus Torvalds 基于 gcc、bash 开发了针对 386 机器的 Linux 内核； 1994 年，Torvalds 发布 Linux-v1.0； 1996 年，Torvalds 发布 Linux-v2.0，确定了 Linux 的吉祥物：企鹅；     基本概念及操作   实验介绍 本节实验主要有： 1、实验楼环境介绍 2、常用 Shell 命令及快捷键 3、Linux 使用小技巧   一、Linux 桌面环境介绍     二、Linux 桌面环境的使用   三、Linux终端   1.Terminal（终端）   终端本质上是对应着 Linux 上的 /dev/tty 设备，Linux 的多用户登陆就是通过不同的 /dev/tty 设备完成的，Linux 默认提供了 6 个纯命令行界面的 “terminal”（准确的说这里应该是 6 个 virtual consoles）来让用户登录，在物理机系统上你可以通过使用[Ctrl]+[Alt]+[F1]～[F6]进行切换，不过在我们的在线实验环境中可能无法切换，因为特殊功能按键会被你主机系统劫持。当你切换到其中一个终端后想要切换回图形界面，你可以按下[Ctrl]+[Alt]+[F7]来完成。   2.Shell   Unix/Linux 操作系统下的 Shell 既是用户交互的界面，也是控制系统的脚本语言。当然在这点也有别于 Windows 下的命令行，虽然也提供了很简单的控制语句。在Windows 操作系统下，可能有些用户从来都不会直接的使用 Shell，然而在 UNIX 系列操作系统下，Shell 仍然是控制系统启动、X11 启动和很多其他实用工具的脚本解释程序。 在 UNIX/Linux 中比较流行的常见的 Shell 有 bash，zsh，ksh，csh 等等，Ubuntu 终端默认使用的是 bash，默认的桌面环境是 GNOME 或者 Unity（基于 GNOME），但我们的环境中使用的分别是zsh 和 xfce。     1).重要快捷键：   [Tab] 使用Tab键来进行命令补全，Tab键一般键盘是在字母Q旁边，这个技巧给你带来的最大的好处就是当你忘记某个命令的全称时你可以只输入它的开头的一部分然后按下Tab键就可以得到提示或者帮助完成：   当然不止补全命令，补全目录，补全命令参数都是没问题的：   [Ctrl+c] 想想你有没有遇到这种情况，当你在 Linux 命令行中无意输入了一个不知道的命令，或者错误的使用了一个命令，导致在终端里出现了你无法预料的情况，比如，只有光标在闪烁无法继续输入命令，或者不停地在输出一大堆你不想要的结果。你想要立即停止并恢复到你可控的状态，那该怎么办呢。这时候你就可以使用Ctrl+c键来强行终止当前程序（你可以放心它并不会使终端退出）。 尝试输入以下命令： $ tail 然后你会发现你接下来的输入都没有任何反应了，只是将你输入的东西显示出来，现在你可以使用Ctrl+c，来中断这个你目前可能还不知道是什么的程序了。（在后续课程中我们会具体解释这个tail命令是什么） 又或者输入： $ find /   显然这不是你想的结果，可以使用Ctrl+c 结束。 虽然这个按着很方便，但不要随便按，因为有时候当你看到终端没有任何反应或提示，也不能接受你的输入，可能只是运行的程序需要你耐心的等一下，你就不要急着Ctrl+c了。 其他一些常用快捷键   按键 作用 Ctrl+d 键盘输入结束或退出终端 Ctrl+s 暂定当前程序，暂停后按下任意键恢复运行 Ctrl+z 将当前程序放到后台运行，恢复到前台为命令fg Ctrl+a 将光标移至输入行头，相当于Home键 Ctrl+e 将光标移至输入行末，相当于End键 Ctrl+k 删除从光标所在位置到行末 Alt+Backspace 向前删除一个单词 Shift+PgUp 将终端显示向上滚动 Shift+PgDn 将终端显示向下滚动   3).学会使用通配符 通配符是一种特殊语句，主要有星号（*）和问号（?），用来对对字符串进行模糊匹配（比如文件名，参数名）。当查找文件夹时，可以使用它来代替一个或多个真正字符；当不知道真正字符或者懒得输入完整名字时，常常使用通配符代替一个或多个真正的字符。 终端里面输入的通配符是由 Shell 处理的，不是由所涉及到命令语句处理的，它只会出现在命令的“参数值”里（它不用在 命令名称里， 命令不记得，那就用Tab补全）。当 Shell 在“参数值”中遇到了通配符时，Shell 会将其当作路径或文件名去在磁盘上搜寻可能的匹配：若符合要求的匹配存在，则进行代换(路径扩展)；否则就将该通配符作为一个普通字符传递给“命令”，然后再由命令进行处理。总之，通配符 实际上就是一种 Shell 实现的路径扩展功能。在 通配符被处理后, Shell 会先完成该命令的重组，然后再继续处理重组后的命令，直至执行该命令。 先使用 touch 命令创建 2 个文件，后缀都为 txt： $ touch adsfasd.txt wergjlkas.txt 可以给文件随意命名，假如过了很长时间，你已经忘了这两个文件的文件名，现在你想在你大堆其他文件中找到这两个文本文件，就可以使用通配符： $ ls *.txt   在创建文件的时候，如果需要一次性创建多个文件，比如：“love_1_linux.txt，love_2_linux.txt，... love_10_linux.txt”。在 Linux 中十分方便： $ touch love_{1..10}_linux.txt   Shell 常用通配符： 字符 含义 * 匹配 0 或多个字符 ? 匹配任意一个字符 [list] 匹配 list 中的任意单一字符 [!list] 匹配 除list 中的任意单一字符以外的字符 [c1-c2] 匹配 c1-c2 中的任意单一字符 如：[0-9] [a-z] {string1,string2,...} 匹配 sring1 或 string2 (或更多)其一字符串 {c2..c2} 匹配 c1-c2 中全部字符 如{1..10}   4).学会在命令行中获取帮助 在 Linux 环境中，如果你遇到困难，可以使用man 命令，它是Manual page的缩写。 Manual pages 是在 UNIX 或类 UNIX 操作系统在线软件文档的一种普遍的形式。 内容包括计算机程序（包括库和系统调用），正式的标准和惯例，甚至是抽象的概念。用户可以通过执行 man 命令调用手册页。 你可以使用如下方式来获得某个命令的说明和使用方式的详细介绍： $ man <command_name> 比如你想查看 man 命令本身的使用方式，你可以输入： man man 通常情况下，man 手册里面的内容都是英文的，这就要求你有一定的英文基础。man 手册的内容很多，涉及了 Linux 使用过程中的方方面面，为了便于查找，是做了分册（分区段）处理的，在Research UNIX、BSD、OS X 和 Linux 中，手册通常被分为8个区段，安排如下： 区段 说明 1 一般命令 2 系统调用 3 库函数，涵盖了C标准函数库 4 特殊文件（通常是/dev中的设备）和驱动程序 5 文件格式和约定 6 游戏和屏保 7 杂项 8 系统管理命令和守护进程 要查看相应区段的内容，就在 man 后面加上相应区段的数字即可，如： $ man 3 printf 所有的手册页遵循一个常见的布局，其为通过简单的 ASCII 文本展示而优化，而这种情况下可能没有任何形式的高亮或字体控制。一般包括以下部分内容： NAME（名称） 该命令或函数的名称，接着是一行简介。 SYNOPSIS（概要） 对于命令，正式的描述它如何运行，以及需要什么样的命令行参数。对于函数，介绍函数所需的参数，以及哪个头文件包含该函数的定义。 DESCRIPTION（说明） 命令或函数功能的文本描述。 EXAMPLES（示例） 常用的一些示例。 SEE ALSO（参见） 相关命令或函数的列表。 也可能存在其他部分内容，但这些部分没有得到跨手册页的标准化。常见的例子包括：OPTIONS（选项），EXIT STATUS（退出状态），ENVIRONMENT（环境），BUGS（程序漏洞），FILES（文件），AUTHOR（作者），REPORTING BUGS（已知漏洞），HISTORY（历史）和COPYRIGHT（版权）。 通常 man 手册中的内容很多，你可能不太容易找到你想要的结果，不过幸运的是你可以在 man 中使用搜索，/<你要搜索的关键字>，查找到后你可以使用n键切换到下一个关键字所在处，shift+n为上一个关键字所在处。使用Space(空格键)翻页，Enter(回车键)向下滚动一行，或者使用j,k（vim编辑器的移动键）进行向前向后滚动一行。按下h键为显示使用帮助(因为man使用less作为阅读器，实为less工具的帮助)，按下q退出。 想要获得更详细的帮助，你还可以使用info命令，不过通常使用man就足够了。如果你知道某个命令的作用，只是想快速查看一些它的某个具体参数的作用，那么你可以使用--help参数，大部分命令都会带有这个参数，如： $ ls --help 作业 本课程会在每一节实验结束部分介绍一个有趣的 Linux 命令，这一节介绍一个可以输出图形字符的命令banner,先看效果：   你可以先使用如下命令安装： $ sudo apt-get update;sudo apt-get install sysvbanner 然后： $ banner shiyanlou 或者你觉得这字体不好看，那么你还可以使用默认已经安装的一个命令printerbanner： $ printerbanner -w 50 A   '-w'参数指定打印宽度，因为我们的环境在屏幕中显示比较小，必须要加上宽度限制。 还有两个类似的命令toilet,figlet，作为作业安装试用。       用户及文件权限管理 实验介绍 1、Linux 中创建、删除用户，及用户组等操作。 2、Linux 中的文件权限设置。 一、Linux 用户管理 通过第一节课程的学习，你应该已经知道，Linux 是一个可以实现多用户登陆的操作系统，比如“李雷”和“韩梅梅”都可以同时登陆同一台主机，他们共享一些主机的资源，但他们也分别有自己的用户空间，用于存放各自的文件。但实际上他们的文件都是放在同一个物理磁盘上的甚至同一个逻辑分区或者目录里，但是由于 Linux 的 用户管理 和 权限机制 ，不同用户不可以轻易地查看、修改彼此的文件。 下面我们就来学习一下 Linux 下的账户管理的基础知识。 1.查看用户 请打开终端，输入命令： $ who am i 或者 $ who mom likes   输入的第一列表示打开当前伪终端的用户的用户名（要查看当前登录用户的用户名，去掉空格直接使用 whoami即可），第二列的 pts/0 中 pts 表示伪终端，所谓伪是相对于 /dev/tty 设备而言的，还记得上一节讲终端时的那七个使用 [Ctrl]+[Alt]+[F1]～[F7] 进行切换的 /dev/tty 设备么,这是“真终端”，伪终端就是当你在图形用户界面使用 /dev/tty7 时每打开一个终端就会产生一个伪终端， pts/0 后面那个数字就表示打开的伪终端序号，你可以尝试再打开一个终端，然后在里面输入 who am i ，看第二列是不是就变成 pts/1 了，第三列则表示当前伪终端的启动时间。 who 命令其它常用参数 参数 说明 -a 打印能打印的全部 -d 打印死掉的进程 -m 同am i,mom likes -q 打印当前登录用户数及用户名 -u 打印当前登录用户登录信息 -r 打印运行等级 2.创建用户 在 Linux 系统里， root 账户拥有整个系统至高无上的权利，比如 新建/添加 用户。 root 权限，系统权限的一种，与 SYSTEM 权限可以理解成一个概念，但高于 Administrator 权限，root 是 Linux 和 UNIX 系统中的超级管理员用户帐户，该帐户拥有整个系统至高无上的权力，所有对象他都可以操作，所以很多黑客在入侵系统的时候，都要把权限提升到 root 权限，用 Windows 的方法理解也就是将自己的非法帐户添加到 Administrators 用户组。更比如安卓操作系统中（基于 Linux 内核）获得 root 权限之后就意味着已经获得了手机的最高权限，这时候你可以对手机中的任何文件（包括系统文件）执行所有增、删、改、查的操作。 我们一般登录系统时都是以普通账户的身份登录的，要创建用户需要 root 权限，这里就要用到 sudo 这个命令了。不过使用这个命令有两个大前提，一是你要知道当前登录用户的密码，二是当前用户必须在 sudo 用户组。shiyanlou 用户的密码就是 “shiyanlou” ，它同时也属于 sudo 用户组（稍后会介绍如何查看和添加用户组）。现在我们新建一个叫 lilei 的用户： $ sudo adduser lilei 按照提示输入 shiyanlou 密码（Linux 下密码输入通常都是不可见的），然后是给 lilei 用户设置密码，后面的选项的一些内容你可以选择直接回车使用默认值：   这个命令不但可以添加用户到系统，同时也会默认为新用户创建 home 目录： $ ls /home 现在你已经创建好一个用户，并且你可以使用你创建的用户登录了，使用如下命令切换登录用户： $ su -l lilei   退出当前用户跟退出终端一样可以使用 exit 命令或者使用快捷键 Ctrl+d。 3.用户组 在 Linux 里面每个用户都有一个归属（用户组），用户组简单地理解就是一组用户的集合，它们共享一些资源和权限，同时拥有私有资源，就跟家的形式差不多，你的兄弟姐妹（不同的用户）属于同一个家（用户组），你们可以共同拥有这个家（共享资源），爸妈对待你们都一样（共享权限），你偶尔写写日记，其他人未经允许不能查看（私有资源和权限）。当然一个用户是可以属于多个用户组的，正如你既属于家庭，又属于学校或公司。 在 Linux 里面如何知道自己属于哪些用户组呢？ 方法一：使用groups命令 $ groups shiyanlou   方法二：查看/etc/group文件 $ cat /etc/group | sort   etc/group 文件格式说明 /etc/group 的内容包括用户组（Group）、用户组口令、GID 及该用户组所包含的用户（User），每个用户组一条记录。格式如下： group_name:password:GID:user_list     4.删除用户 删除用户是很简单的事： $ sudo deluser lilei --remove-home   二、Linux 文件权限 1.查看文件权限 我们之前已经很多次用到 ls 命令了，如你所见，我们用它来列出并显示当前目录下的文件，当然这是在不带任何参数的情况下，它能做的当然不止这么多，现在我们就要用它来查看文件权限。 使用较长格式列出文件： $ ls -l     文件类型 关于文件类型，这里有一点你必需时刻牢记Linux 里面一切皆文件，正因为这一点才有了设备文件（ /dev 目录下有各种设备文件，大都跟具体的硬件设备相关）这一说，还有 socket（网络套接字，具体是什么，感兴趣的用户可以自己去了解或期待实验楼的后续相关课程），和pipe (管道，这个东西很重要，我们以后将会讨论到，这里你先知道有它的存在即可)。软链接文件，链接文件是分为两种的，另一种当然是“硬链接”(硬链接不常用，具体内容不作为本课程讨论重点，而软链接等同于 Windows 上的快捷方式,你记住这一点就够了） 文件权限 读权限，表示你可以使用 cat  之类的命令来读取某个文件的内容;写权限，表示你可以编辑和修改某个文件； 执行权限，通常指可以运行的二进制程序文件或者脚本文件，如同 Windows 上的 'exe' 后缀的文件，不过 Linux 上不是通过文件后缀名来区分文件的类型。你需要注意的一点是，一个目录要同时具有读权限和执行权限才可以打开，而一个目录要有写权限才允许在其中创建其它文件，这是因为目录文件实际保存着该目录里面的文件的列表等信息 所有者权限，这一点相信你应该明白了，至于所属用户组权限，是指你所在的用户组中的所有其它用户对于该文件的权限，比如，你有一个艾派德,那么这个用户组权限就决定了你的兄弟姐妹有没有权限使用它破坏它和占有它。 链接数 文件大小   显示除了 '.'(当前目录)，'..' 上一级目录之外的所有包含隐藏文件（Linux 下以 '.' 开头的文件为隐藏文件） $ ls -A   $ ls -Al 查看某一个目录的完整属性，而不是显示目录里面的文件属性： $ ls -dl <目录名> 显示所有文件大小，并以普通人类能看懂的方式呈现： $ ls -AsSh 其中小 s 为显示文件大小，大 S 为按文件大小排序，若需要知道如何按其它方式排序，请使用“man”命令查询。     3.修改文件权限 如果你有一个自己的文件不想被其他用户读、写、执行，那么就需要对文件的权限做修改，这里有两种方式： 方式一：二进制数字表示   每个文件的三组权限（拥有者，所属用户组，其他用户,记住这个顺序是一定的）就对应这一个 "rwx"，也就是一个 '7' ,所以如果我要将文件“iphone6”的权限改为只有我自己可以用那么就这样: 为了演示，我先在文件里加点内容： $ echo "echo \"hello shiyanlou\"" > iphone6 然后修改权限： $ chmod 700 iphone6 现在，其他用户已经不能读这个“iphone6”文件了：   方式二：加减赋值操作 完成上述相同的效果，你可以： $ chmod go-rw iphone   'g''o'还有'u'，分别表示group，others，user，'+'，'-' 就分别表示增加和去掉相应的权限。     Linux 目录结构及文件基本操作   一、Linux 目录结构     $ tree / 如果提示"command not found"，就先安装： # 因为我们的环境的原因，每次新启动实验会清除系统恢复初始状态，所以需要手动更新软件包索引，以便我们安装时能找到相应软件包的源 sudo apt-get update sudo apt-get install tree     路径   $ cd .. 进入你的“home”目录： $ cd ~ # 或者 cd /home/<你的用户名> 使用 pwd 获取当前路径： $ pwd     # 绝对路径 $ cd /usr/local/bin # 相对路径 $ cd ../../usr/local/bin     二、Linux 文件的基本操作 1.新建 新建空白文件   $ cd ~ $ touch test 新建目录   $ mkdir mydir 使用 -p 参数，同时创建父目录（如果不存在该父目录），如下我们同时创建一个多级目录（这在有时候安装软件，配置安装路径时非常有用）： $ mkdir -p father/son/grandson     2.复制 复制文件   $ cp test father/son/grandson 3.删除 删除文件   $ rm test 4.移动文件与文件重命名 移动文件   $ mv file1 Documents   重命名文件   $ mv file1 myfile 批量重命名 # 使用通配符批量创建 5 个文件 $ touch file{1..5}.txt # 批量将这 5 个后缀为 .txt 的文本文件重命名为以 .c 为后缀的文件 $ rename 's/\.txt/\.c/' *.txt # 批量将这 5 个文件，文件名改为大写 $ rename 'y/a-z/A-Z/' *.c   5.查看文件 使用cat,tac和nl命令查看文件   $ cat passwd 可以加上-n参数显示行号： $ cat -n passwd   使用more工具打开passwd文件： $ more passwd       使用head和tail命令查看文件   $ tail /etc/passwd 甚至更直接的只看一行， 加上-n参数，后面紧跟行数： $ tail -n 1 /etc/passwd   6.查看文件类型   $ file /bin/ls       环境变量与文件查找 实验介绍   一、环境变量 1.变量   使用declare命令创建一个变量名为 tmp 的变量： $ declare tmp   使用=号赋值运算符为变量 tmp 赋值为 shiyanlou： $ tmp=shiyanlou 读取变量的值，使用echo命令和$符号（$符号用于表示引用一个变量的值，初学者经常会忘记输入）： $ echo $tmp   注意:关于变量名，并不是任何形式的变量名都是可用的，变量名只能是英文字母,数字或者下划线，且不能以数字作为开头。   2.环境变量   $ temp=shiyanlou $ export temp_env=shiyanlou $ env|sort>env.txt $ export|sort>export.txt $ set|sort>set.txt     3.命令的查找路径与顺序   $ echo $PATH 默认情况下你会看到如下输出： /usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games 创建一个 Shell 脚本文件： $ vim hello_shell.sh 在脚本中添加如下内容，保存并退出（注意不要省掉第一行，这不是注释，论坛有用户反应会有语法错误，就是因为没有了第一行）： #!/bin/zsh for ((i=0; i<10; i++));do echo "hello shell" done exit 0 为文件添加可执行权限： $ chmod 755 hello_shell.sh 执行脚本 $ ./hello_shell.sh 创建一个 C 语言"hello world"程序： $ vim hello_world.c #include int main(void) { printf("hello world!\n"); return 0; } 使用 gcc 生成可执行文件： $ gcc -o hello_world hello_world.c 在 shiyanlou 家目录创建一个mybin目录，并将上述 hello_shell.sh 和 hello_world 文件移动到其中： $ mkdir mybin $ mv hello_shell.sh hello_world mybin/ 现在你可以在mybin目录中分别运行你刚刚创建的两个程序： $ cd mybin $ ./hello_shell.sh $ ./hello_world   回到上一级目录，也就是shiyanlou家目录，当再想运行那两个程序时，会发现提示命令找不到，除非加上命令的完整路径，但那样很不方便，如何做到想使用系统命令一样执行自己创建的脚本文件或者程序呢？那就要将命令所在路径添加到PATH环境变量了。   4.添加自定义路径到“PATH”环境变量   $ PATH=$PATH:/home/shiyanlou/mybin 注意这里一定要使用绝对路径   $ echo "PATH=$PATH:/home/shiyanlou/mybin" >> .zshrc   变量删除   $ unset temp   6.如何让环境变量立即生效   $ source .zshrc   $ . ./.zshrc     二、搜索文件 与搜索相关的命令常用的有如下几个whereis,which,find,locate。 whereis简单快速 $whereis who locate快而全   $ locate /etc/sh 查找 /usr/share/ 下所有 jpg 文件： $ locate /usr/share/\*.jpg which小而精   $ which man find精而细   $ find /etc/ -name interfaces   作业 《黑客帝国》电影里满屏幕代码的“数字雨”，在 Linux 里面你也可以轻松实现这样的效果，你只需要一个命令cmatrix。 需要先安装，因为 Ubuntu 没有预装： $ sudo apt-get update;sudo apt-get install cmatrix 装好之后先不要急着执行，为了看到更好的效果，我们需要先修改终端的主题配色，修改为黑底绿字,修改方法见下图：       文件打包与压缩 实验介绍   一、文件打包和解压缩 在讲 Linux 上的解压缩工具之前，有必要先了解以下常见常用的压缩包文件格式。在 Windows 上我们最常见的不外乎这三种*.zip,*.rar,*.7z后缀的压缩文件，而在 Linux 上面常见常用的除了以上这三种外，还有*.gz,*.xz,*.bz2,*.tar,*.tar.gz,*.tar.xz,*tar.bz2，简单介绍如下： 1.zip压缩打包程序讲了这么多种压缩文件，这么多个命令，不过我们一般只需要掌握几个命令即可，包括zip,rar,tar。下面会依次介绍这几个命令及对应的解压命令。 使用zip打包文件夹： $ zip -r -q -o shiyanlou.zip /home/shiyanlou $ du -h shiyanlou.zip $ file shiyanlou.zip   上面命令将 shiyanlou 的 home 目录打包成一个文件，并查看了打包后文件的大小和类型。第一行命令中，-r参数表示递归打包包含子目录的全部内容，-q参数表示为安静模式，即不向屏幕输出信息，-o，表示输出文件，需在其后紧跟打包输出文件名。后面使用du命令查看打包后文件的大小（后面会具体说明该命令）。 设置压缩级别为9和1（9最大,1最小），重新打包： $ zip -r -9 -q -o shiyanlou_9.zip /home/shiyanlou -x ~/*.zip $ zip -r -1 -q -o shiyanlou_1.zip /home/shiyanlou -x ~/*.zip 这里添加了一个参数用于设置压缩级别-[1-9]，1表示最快压缩但体积大，9表示体积最小但耗时最久。最后那个-x是为了排除我们上一次创建的 zip 文件，否则又会被打包进这一次的压缩文件中，注意:这里只能使用绝对路径，否则不起作用。 我们再用du命令分别查看默认压缩级别、最低、最高压缩级别及未压缩的文件的大小： $ du -h -d 0 *.zip ~ | sort 通过man 手册可知： h, --human-readable（顾名思义，你可以试试不加的情况） d, --max-depth（所查看文件的深度）   这样一目了然,你可以看到默认压缩级别应该是最高的，效果很明显，不过你在环境中操作之后看到的大小可能跟图上的有些不同，因为在你使用过程中，会随时还生成一些缓存文件在当前用户的家目录中，这对于我们学习命令使用来说，是无关紧要的，可以忽略这些不同。 创建加密zip包 使用-e参数可以创建加密压缩包： $ zip -r -e -o shiyanlou_encryption.zip /home/shiyanlou 注意: 关于zip命令，因为 Windows 系统与 Linux/Unix 在文本文件格式上的一些兼容问题，比如换行符（为不可见字符），在 Windows 为 CR+LF（Carriage-Return+Line-Feed：回车加换行），而在 Linux/Unix 上为 LF（换行），所以如果在不加处理的情况下，在 Linux 上编辑的文本，在 Windows 系统上打开可能看起来是没有换行的。如果你想让你在 Linux 创建的 zip 压缩文件在 Windows 上解压后没有任何问题，那么你还需要对命令做一些修改： $ zip -r -l -o shiyanlou.zip /home/shiyanlou 需要加上-l参数将LF转换为CR+LF来达到以上目的。 2.使用unzip命令解压缩zip文件 将shiyanlou.zip解压到当前目录： $ unzip shiyanlou.zip 使用安静模式，将文件解压到指定目录： $ unzip -q shiyanlou.zip -d ziptest   上述指定目录不存在，将会自动创建。如果你不想解压只想查看压缩包的内容你可以使用-l参数： $ unzip -l shiyanlou.zip 注意： 使用unzip解压文件时我们同样应该注意兼容问题，不过这里我们关心的不再是上面的问题，而是中文编码的问题，通常 Windows 系统上面创建的压缩文件，如果有有包含中文的文档或以中文作为文件名的文件时默认会采用 GBK 或其它编码，而 Linux 上面默认使用的是 UTF-8 编码，如果不加任何处理，直接解压的话可能会出现中文乱码的问题（有时候它会自动帮你处理），为了解决这个问题，我们可以在解压时指定编码类型。 使用-O（英文字母，大写o）参数指定编码类型： unzip -O GBK 中文压缩文件.zip 3.rar打包压缩命令 rar也是 Windows 上常用的一种压缩文件格式，在 Linux 上可以使用rar和unrar工具分别创建和解压 rar 压缩包。 安装rar和unrar工具： $ sudo apt-get update $ sudo apt-get install rar unrar 从指定文件或目录创建压缩包或添加文件到压缩包： $ rm *.zip $ rar a shiyanlou.rar . 上面的命令使用a参数添加一个目录～到一个归档文件中，如果该文件不存在就会自动创建。 注意：rar 的命令参数没有-，如果加上会报错。 从指定压缩包文件中删除某个文件： $ rar d shiyanlou.rar .zshrc 查看不解压文件： $ rar l shiyanlou.rar 使用unrar解压rar文件 全路径解压： $ unrar x shiyanlou.rar 去掉路径解压： $ mkdir tmp $ unrar e shiyanlou.rar tmp/   4.tar打包工具 在 Linux 上面更常用的是tar工具，tar 原本只是一个打包工具，只是同时还是实现了对 7z，gzip，xz，bzip2 等工具的支持，这些压缩工具本身只能实现对文件或目录（单独压缩目录中的文件）的压缩，没有实现对文件的打包压缩，所以我们也无需再单独去学习其他几个工具，tar 的解压和压缩都是同一个命令，只需参数不同，使用比较方便。 下面先掌握tar命令一些基本的使用方式，即不进行压缩只是进行打包（创建归档文件）和解包的操作。 创建一个 tar 包： $ tar -cf shiyanlou.tar ~   解包一个文件(-x参数)到指定路径的已存在目录(-C参数)： $ mkdir tardir $ tar -xf shiyanlou.tar -C tardir 只查看不解包文件-t参数： $ tar -tf shiyanlou.tar 保留文件属性和跟随链接（符号链接或软链接），有时候我们使用tar备份文件当你在其他主机还原时希望保留文件的属性(-p参数)和备份链接指向的源文件而不是链接本身(-h参数)： $ tar -cphf etc.tar /etc 对于创建不同的压缩格式的文件，对于tar来说是相当简单的，需要的只是换一个参数，这里我们就以使用gzip工具创建*.tar.gz文件为例来说明。 我们只需要在创建 tar 文件的基础上添加-z参数，使用gzip来压缩文件： $ tar -czf shiyanlou.tar.gz ~ 解压*.tar.gz文件： $ tar -xzf shiyanlou.tar.gz 作业 天冷的时候，要是有个火炉就好了。这里有个有趣的程序： $ sudo apt-get install libaa-bin # 提示command not found，请自行解决 $ aafire   文件系统操作与磁盘管理   一、简单文件系统操作 1.查看磁盘和目录的容量 使用 df 命令查看磁盘的容量 $ df $ df -h 使用 du 命令查看目录的容量 这个命令前面其实已经用了很多次了： # 默认同样以 blocks 的大小展示 $ du # 加上`-h`参数，以更易读的方式展示 $ du -h -d参数指定查看目录的深度 # 只查看1级目录的信息 $ du -h -d 0 ~ # 查看2级 $ du -h -d 1 ~   du（estimate file space usage）命令与df（report file system disk space usage）只用一字只差，首先就希望注意不要弄混淆了,以可以像我这样从man手册中获取命令的完整描述，记全称就不会搞混了。   二、简单的磁盘管理   1.创建虚拟磁盘 dd 命令简介（部分说明来自dd (Unix) wiki)）   # 输出到文件 $ dd of=test bs=10 count=1 # 或者 dd if=/dev/stdin of=test bs=10 count=1 # 输出到标准输出 $ dd if=/dev/stdin of=/dev/stdout bs=10 count=1   $ dd if=/dev/stdin of=test bs=10 count=1 conv=ucase     使用 dd 命令创建虚拟镜像文件   从/dev/zero设备创建一个容量为 256M 的空文件： $ dd if=/dev/zero of=virtual.img bs=1M count=256 $ du -h virtual.img     使用 mkfs 命令格式化磁盘（我们这里是自己创建的虚拟磁盘镜像）     $ mkfs.ext4 virtual.img   使用 mount 命令挂载磁盘到目录树   $ sudo mount   输出的结果中每一行表示一个设备或虚拟设备,每一行最前面是设备名，然后是 on 后面是挂载点，type 后面表示文件系统类型，再后面是挂载选项（比如可以在挂载时设定以只读方式挂载等等）。 那么我们如何挂载真正的磁盘到目录树呢，mount命令的一般格式如下： mount [options] [source] [directory] 一些常用操作： mount [-o [操作选项]] [-t 文件系统类型] [-w|--rw|--ro] [文件系统源] [挂载点] 我们现在直接来挂载我们创建的虚拟磁盘镜像到/mnt目录： $ mount -o loop -t ext4 virtual.img /mnt # 也可以省略挂载类型，很多时候 mount 会自动识别 # 以只读方式挂载 $ mount -o loop --ro virtual.img /mnt # 或者mount -o loop,ro virtual.img /mnt 使用 umount 命令卸载已挂载磁盘 # 命令格式 sudo umount 已挂载设备名或者挂载点，如： $ sudo umount /mnt 使用 fdisk 为磁盘分区 同样因为环境原因中没有物理磁盘，也无法创建虚拟磁盘的原因我们就无法实验练习使用该命令了，下面我将以我的物理主机为例讲解如何为磁盘分区。 # 查看硬盘分区表信息 $ sudo fdisk -l   # 进入磁盘分区模式 $ sudo fdisk virtual.img   使用 losetup 命令建立镜像与回环设备的关联 $ sudo losetup /dev/loop0 virtual.img # 如果提示设备忙你也可以使用其它的回环设备，"ls /dev/loop*"参看所有回环设备 # 解除设备关联 $ sudo losetup -d /dev/loop0 然后再使用mkfs格式化各分区（前面我们是格式化整个虚拟磁盘镜像文件或磁盘），不过格式化之前，我们还要为各分区建立虚拟设备的映射，用到kpartx工具，需要先安装： $ sudo apt-get install kpartx $ sudo kpart kpartx -av /dev/loop0 # 取消映射 $ sudo kpart kpartx -dv /dev/loop0   接着再是格式化，我们将其全部格式化为 ext4： $ sudo mkfs.ext4 -q /dev/mapper/loop0p1 $ sudo mkfs.ext4 -q /dev/mapper/loop0p5 $ sudo mkfs.ext4 -q /dev/mapper/loop0p6 格式化完成后在/media目录下新建四个空目录用于挂载虚拟磁盘： $ mkdir -p /media/virtualdisk_{1..3} # 挂载磁盘分区 $ sudo mount /dev/mapper/loop0p1 /media/virtualdisk_1 $ sudo mount /dev/mapper/loop0p5 /media/virtualdisk_2 $ sudo mount /dev/mapper/loop0p6 /media/virtualdisk_3 # 卸载磁盘分区 $ sudo umount /dev/mapper/loop0p1 $ sudo umount /dev/mapper/loop0p5 $ sudo umount /dev/mapper/loop0p6 然后： $ df -h 作业   cowsay命令，可以让你在终端里以一种动物说话的形式打印出一段话。     命令执行顺序控制与管道 实验介绍 顺序执行、选择执行、管道、cut 命令、grep 命令、wc 命令、sort 命令等，高效率使用 Linux 的技巧。 一、命令执行顺序的控制 1.顺序执行多条命令 通常情况下，我们每次只能在终端输入一条命令，按下回车执行，执行完成后，我们再输入第二条命令，然后再按回车执行…… 你可能会遇到如下使用场景：我需要使用apt-get安装一个软件，然后安装完成后立即运行安装的软件（或命令工具），又恰巧你的主机才更换的软件源还没有更新软件列表（比如之前我们的环境中，每次重新开始实验就得sudo apt-get update，现在已经没有这个问题了）,那么你可能会有如下一系列操作： $ sudo apt-get update # 等待——————————然后输入下面的命令 $ sudo apt-get install some-tool # 等待——————————然后输入下面的命令 $ some-tool 2.有选择的执行命令   $ which cowsay>/dev/null && cowsay -f head-in ohch~     二、管道     1.试用 先试用一下管道，比如查看/etc目录下有哪些文件和目录，使用ls命令来查看： $ ls -al /etc 有太多内容，屏幕不能完全显示，这时候可以使用滚动条或快捷键滚动窗口来查看。不过这时候可以使用管道： $ ls -al /etc | less 通过管道将前一个命令(ls)的输出作为下一个命令(less)的输入，然后就可以一行一行地看。 2.cut 命令，打印每一行的某一字段 打印/etc/passwd文件中以:为分隔符的第1个字段和第6个字段分别表示用户名和其家目录： $ cut /etc/passwd -d ':' -f 1,6   打印/etc/passwd文件中每一行的前N个字符： # 前五个（包含第五个） $ cut /etc/passwd -c -5 # 前五个之后的（包含第五个） $ cut /etc/passwd -c 5- # 第五个 $ cut /etc/passwd -c 5 # 2到5之间的（包含第五个） $ cut /etc/passwd -c 2-5 3.grep 命令，在文本中或 stdin 中查找匹配字符串   $ grep -rnI "shiyanlou" ~   -r 参数表示递归搜索子目录中的文件,-n表示打印匹配项行号，-I表示忽略二进制文件。这个操作实际没有多大意义，但可以感受到grep命令的强大与实用。 当然也可以在匹配字段中使用正则表达式，下面简单的演示： # 查看环境变量中以"yanlou"结尾的字符串 $ export | grep ".*yanlou$"   其中$就表示一行的末尾。   4. wc 命令，简单小巧的计数工具 wc 命令用于统计并输出一个文件中行、单词和字节的数目，比如输出/etc/passwd文件的统计信息： $ wc /etc/passwd 分别只输出行数、单词数、字节数、字符数和输入文本中最长一行的字节数： # 行数 $ wc -l /etc/passwd # 单词数 $ wc -w /etc/passwd # 字节数 $ wc -c /etc/passwd # 字符数 $ wc -m /etc/passwd # 最长行字节数 $ wc -L /etc/passwd 注意：对于西文字符来说，一个字符就是一个字节，但对于中文字符一个汉字是大于2个字节的，具体数目是由字符编码决定的   再来结合管道来操作一下，下面统计 /etc 下面所有目录数： $ ls -dl /etc/*/ | wc -l   5.sort 排序命令 这个命令前面我们也是用过多次，功能很简单就是将输入按照一定方式排序，然后再输出,它支持的排序有按字典排序,数字排序，按月份排序，随机排序，反转排序，指定特定字段进行排序等等。 默认为字典排序： $ cat /etc/passswd | sort 反转排序： $ cat /etc/passwd | sort -r 按特定字段排序： $ cat /etc/passwd | sort -t':' -k 3 上面的-t参数用于指定字段的分隔符，这里是以":"作为分隔符；-k 字段号用于指定对哪一个字段进行排序。这里/etc/passwd文件的第三个字段为数字，默认情况下是一字典序排序的，如果要按照数字排序就要加上-n参数： $ cat /etc/passwd | sort -t':' -k 3 -n   6. uniq 去重命令 uniq命令可以用于过滤或者输出重复行。 过滤重复行 我们可以使用history命令查看最近执行过的命令（实际为读取${SHELL}_history文件,如我们环境中的~/.zsh_history文件），不过你可能只想查看使用了那个命令而不需要知道具体干了什么，那么你可能就会要想去掉命令后面的参数然后去掉重复的命令： $ history | cut -c 8- | cut -d ' ' -f 1 | uniq 然后经过层层过滤，你会发现确是只输出了执行的命令那一列，不过去重效果好像不明显，仔细看你会发现它趋势去重了，只是不那么明显，之所以不明显是因为uniq命令只能去连续重复的行，不是全文去重，所以要达到预期效果，我们先排序： $ history | cut -c 8- | cut -d ' ' -f 1 | sort | uniq # 或者$ history | cut -c 8- | cut -d ' ' -f 1 | sort -u 这就是 Linux/UNIX 哲学吸引人的地方，大繁至简，一个命令只干一件事却能干到最好。 输出重复行 # 输出重复过的行（重复的只输出一个）及重复次数 $ history | cut -c 8- | cut -d ' ' -f 1 | sort | uniq -dc # 输出所有重复的行 $ history | cut -c 8- | cut -d ' ' -f 1 | sort | uniq -D 文本处理命令还有很多，下一节将继续介绍一些常用的文本处理的命令。     作业：             简单的文本处理     文本处理命令 1.tr 命令 tr 命令可以用来删除一段文本信息中的某些文字。或者将其进行转换。 使用方式： tr [option]...SET1 [SET2] # 删除 "hello shiyanlou" 中所有的'o','l','h' $ echo 'hello shiyanlou' | tr -d 'olh' # 将"hello" 中的ll,去重为一个l $ echo 'hello' | tr -s 'l' # 将输入文本，全部转换为大写或小写输出 $ cat /etc/passwd | tr '[:lower:]' '[:upper:]' # 上面的'[:lower:]' '[:upper:]'你也可以简单的写作'[a-z]' '[A-Z]',当然反过来将大写变小写也是可以的   更多 tr 的使用，你可以使用--help或者man tr获得。 2.col 命令 col 命令可以将Tab换成对等数量的空格建，或反转这个操作。 使用方式： col [option]   # 查看 /etc/protocols 中的不可见字符，可以看到很多 ^I ，这其实就是 Tab 转义成可见字符的符号 $ cat -A /etc/protocols # 使用 col -x 将 /etc/protocols 中的 Tab 转换为空格,然后再使用 cat 查看，你发现 ^I 不见了 $ cat /etc/protocols | col -x | cat -A   3.join命令 学过数据库的用户对这个应该不会陌生，这个命令就是用于将两个文件中包含相同内容的那一行合并在一起。 使用方式： join [option]... file1 file2   # 创建两个文件 $ echo '1 hello' > file1 $ echo '1 shiyanlou' > file2 $ join file1 file2 # 将/etc/passwd与/etc/shadow两个文件合并，指定以':'作为分隔符 $ sudo join -t':' /etc/passwd /etc/shadow # 将/etc/passwd与/etc/group两个文件合并，指定以':'作为分隔符, 分别比对第4和第3个字段 $ sudo join -t':' -1 4 /etc/passwd -2 3 /etc/group   4.paste命令 paste这个命令与join 命令类似，它是在不对比数据的情况下，简单地将多个文件合并一起，以Tab隔开。 使用方式： paste [option] file...   $ echo hello > file1操作举例： $ echo shiyanlou > file2 $ echo www.shiyanlou.com > file3 $ paste -d ':' file1 file2 file3 $ paste -s file1 file2 file3 数据流重定向 一、数据流重定向 下面我们简单的回顾一下我们前面经常用到的两个重定向操作： $ echo 'hello shiyanlou' > redirect $ echo 'www.shiyanlou.com' >> redirect $ cat redirect 1.简单的重定向   $ cat （按Ctrl+C退出） 将cat的连续输出（heredoc方式）重定向到一个文件 $ mkdir Documents $ cat > Documents/test.c\~ <#include int main() { printf("hello world\n"); return 0; } EOF 将一个文件作为命令的输入，标准输出作为命令的输出 $ cat Documents/test.c\~ 将echo命令通过管道传过来的数据作为cat命令的输入，将标准输出作为命令的输出 $ echo 'hi' | cat 将echo命令的输出从默认的标准输出重定向到一个普通文件 $ echo 'hello shiyanlou' > redirect $ cat redirect   2.标准错误重定向 重定向标准输出到文件，这是一个很实用的操作，另一个很实用的操作是将标准错误重定向，标准输出和标准错误都被指向伪终端的屏幕显示，所以我们经常看到的一个命令的输出通常是同时包含了标准输出和标准错误的结果的。比如下面的操作： # 使用cat 命令同时读取两个文件，其中一个存在，另一个不存在 $ cat Documents/test.c\~ hello.c # 你可以看到除了正确输出了前一个文件的内容，还在末尾出现了一条错误信息 # 下面我们将输出重定向到一个文件，根据我们前面的经验，这里将在看不到任何输出了 $ cat Documents/test.c\~ hello.c > somefile   # 将标准错误重定向到标准输出，再将标准输出重定向到文件，注意要将重定向到文件写到前面 $ cat Documents/test.c\~ hello.c >somefile 2>&1 # 或者只用bash提供的特殊的重定向符号"&"将标准错误和标准输出同时重定向到文件 $ cat Documents/test.c\~ hello.c &>somefilehell   3.使用tee命令同时重定向到多个文件 $ echo 'hello shiyanlou' | tee hello   4.永久重定向   # 先开启一个子 Shell $ zsh # 使用exec替换当前进程的重定向，将标准输出重定向到一个文件 $ exec 1>somefile # 后面你执行的命令的输出都将被重定向到文件中,直到你退出当前子shell，或取消exec的重定向（后面将告诉你怎么做） $ ls $ exit $ cat somefile   5.创建输出文件描述符 默认在 Shell 中可以有9个打开的文件描述符，上面我们使用了也是它默认提供的0,1,2号文件描述符，另外我们还可以使用3-8的文件描述符，只是它们默认没有打开而已，你可以使用下面命令查看当前 Shell 进程中打开的文件描述符： $ cd /dev/fd/;ls -Al   $ zsh $ exec 3>somefile # 先进入目录，再查看，否则你可能不能得到正确的结果，然后再回到上一次的目录 $ cd /dev/fd/;ls -Al;cd - # 注意下面的命令>与&之间不应该有空格，如果有空格则会出错 $ echo "this is test" >&3 $ cat somefile $ exit   6.关闭文件描述符 如上面我们打开的3号文件描述符，可以使用如下操作将它关闭： $ exec 3>&- $ cd /dev/fd;ls -Al;cd - 7.完全屏蔽命令的输出 在 Linux 中有一个被成为“黑洞”的设备文件,所以导入它的数据都将被“吞噬”。 我们可以利用设个/dev/null屏蔽命令的输出： $ cat Documents/test.c\~ nefile 1>/dev/null 2>&1 向上面这样的操作将使你得不到任何输出结果。 8.使用 xargs 分割参数列表 这个命令在有些时候十分有用，特别是当用来处理产生大量输出结果的命令如 find，locate 和 grep 的结果，详细用法请参看 man 文档。 $ cut -d: -f1 < /etc/passwd | sort | xargs echo 上面这个命令用于将/etc/passwd文件按:分割取第一个字段排序后，使用echo命令生成一个列表。     1、理解下面这段代码的的作用，实际这段代码不会正常工作，请结合这一小节的知识分析这段代码没有正确工作的原因，并设法解决这个问题。 如果你还没有 Shell 脚本编程的基础，你可以选择跳过或者到这里高级 Bash 编程指南学习 while read filename; do rm -iv $filename done <<(ls) 2、之前介绍过一个在命令行将图片转换为 ascii 字符查看的工具 aview/asciiview，不过它是黑白的。现在，这里是个彩色的： $ sudo apt-get install caca-utils $ cacaview $ cacademo $ cacafire 正则表达式基础   一、正则表达式 什么是正则表达式呢？ 简单的说形式和功能上正则表达式和我们前面讲的通配符很像，不过它们之间又有很大差别，特别在于一些特殊的匹配字符的含义上，希望初学者注意不要将两者弄混淆。 1. 举例   假设我们有这样一个文本文件，包含"shiyanlou"，和"shilouyan"这两个字符串，同样一个表达式： shi* 如果这作为一个正则表达式，它将只能匹配 shi，而如果不是作为正则表达式*作为一个通配符，则将同时匹配这两个字符串。这是为什么呢？因为在正则表达式中*表示匹配前面的子表达式（这里就是它前面一个字符）零次或多次，比如它可以匹配"sh","shii","shish","shiishi"等等，而作为通配符表示匹配通配符后面任意多个任意字符，所以它可以匹配"shiyanlou"，和"shilouyan"两个字符。 体验完了，下面就来开始正式学习正则表达式吧。 2.基本语法： 一个正则表达式通常被称为一个模式（pattern），为用来描述或者匹配一系列符合某个句法规则的字符串。 选择 |竖直分隔符表示选择，例如"boy|girl"可以匹配"boy"或者"girl" 数量限定 数量限定除了我们举例用的*,还有+加号,?问号,.点号，如果在一个模式中不加数量限定符则表示出现一次且仅出现一次： +表示前面的字符必须出现至少一次(1次或多次)，例如，"goo+gle",可以匹配"gooogle","goooogle"等； ?表示前面的字符最多出现一次(0次或1次)，例如，"colou?r",可以匹配"color"或者"colour"; *星号代表前面的字符可以不出现，也可以出现一次或者多次（0次、或1次、或多次），例如，“0*42”可以匹配42、042、0042、00042等。 范围和优先级 ()圆括号可以用来定义模式字符串的范围和优先级，这可以简单的理解为是否将括号内的模式串作为一个整体。例如，"gr(a|e)y"等价于"gray|grey"，（这里体现了优先级，竖直分隔符用于选择a或者e而不是gra和ey），"(grand)?father"匹配father和grandfather（这里体验了范围，?将圆括号内容作为一个整体匹配）。 语法（部分） 正则表达式有多种不同的风格，下面列举一些常用的作为 PCRE 子集的适用于perl和python编程语言及grep或egrep的正则表达式匹配规则：(由于markdown表格解析的问题，下面的竖直分隔符用全角字符代替，实际使用时请换回半角字符) PCRE（Perl Compatible Regular Expressions中文含义：perl语言兼容正则表达式）是一个用 C 语言编写的正则表达式函数库，由菲利普.海泽(Philip Hazel)编写。PCRE是一个轻量级的函数库，比Boost 之类的正则表达式库小得多。PCRE 十分易用，同时功能也很强大，性能超过了 POSIX 正则表达式库和一些经典的正则表达式库。 字符 描述 \ 将下一个字符标记为一个特殊字符、或一个原义字符。例如，“n”匹配字符“n”。“\n”匹配一个换行符。序列“\\”匹配“\”而“\(”则匹配“(”。 ^ 匹配输入字符串的开始位置。 $ 匹配输入字符串的结束位置。 {n} n是一个非负整数。匹配确定的n次。例如，“o{2}”不能匹配“Bob”中的“o”，但是能匹配“food”中的两个o。 {n,} n是一个非负整数。至少匹配n次。例如，“o{2,}”不能匹配“Bob”中的“o”，但能匹配“foooood”中的所有o。“o{1,}”等价于“o+”。“o{0,}”则等价于“o*”。 {n,m} m和n均为非负整数，其中n<=m。最少匹配n次且最多匹配m次。例如，“o{1,3}”将匹配“fooooood”中的前三个o。“o{0,1}”等价于“o?”。请注意在逗号和两个数之间不能有空格。 * 匹配前面的子表达式零次或多次。例如，zo*能匹配“z”、“zo”以及“zoo”。*等价于{0,}。 + 匹配前面的子表达式一次或多次。例如，“zo+”能匹配“zo”以及“zoo”，但不能匹配“z”。+等价于{1,}。 ? 匹配前面的子表达式零次或一次。例如，“do(es)?”可以匹配“do”或“does”中的“do”。?等价于{0,1}。 ? 当该字符紧跟在任何一个其他限制符（*,+,?，{n}，{n,}，{n,m}）后面时，匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串，而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如，对于字符串“oooo”，“o+?”将匹配单个“o”，而“o+”将匹配所有“o”。 . 匹配除“\n”之外的任何单个字符。要匹配包括“\n”在内的任何字符，请使用像“(.｜\n)”的模式。 (pattern) 匹配pattern并获取这一匹配的子字符串。该子字符串用于向后引用。要匹配圆括号字符，请使用“\(”或“\)”。 x｜y 匹配x或y。例如，“z｜food”能匹配“z”或“food”。“(z｜f)ood”则匹配“zood”或“food”。 [xyz] 字符集合（character class）。匹配所包含的任意一个字符。例如，“[abc]”可以匹配“plain”中的“a”。其中特殊字符仅有反斜线\保持特殊含义，用于转义字符。其它特殊字符如星号、加号、各种括号等均作为普通字符。脱字符^如果出现在首位则表示负值字符集合；如果出现在字符串中间就仅作为普通字符。连字符 - 如果出现在字符串中间表示字符范围描述；如果如果出现在首位则仅作为普通字符。 [^xyz] 排除型（negate）字符集合。匹配未列出的任意字符。例如，“[^abc]”可以匹配“plain”中的“plin”。 [a-z] 字符范围。匹配指定范围内的任意字符。例如，“[a-z]”可以匹配“a”到“z”范围内的任意小写字母字符。 [^a-z] 排除型的字符范围。匹配任何不在指定范围内的任意字符。例如，“[^a-z]”可以匹配任何不在“a”到“z”范围内的任意字符。 优先级 优先级为从上到下从左到右，依次降低： 运算符 说明 \ 转义符 (), (?:), (?=), [] 括号和中括号 *、+、?、{n}、{n,}、{n,m} 限定符 ^、$、\任何元字符 定位点和序列 ｜ 　选择 二、grep模式匹配命令 上面空谈了那么多正则表达式的内容也并没有提及具体该如何使用它，实在枯燥，如果说正则表达式是一门武功话，那它也只能算得上一些口诀招式罢了，要把它真正练起来还得需要一些兵器在手才行，这里我们要介绍的grep命令以及后面要讲的sed,awk这些就该算作是这样的兵器了。 1.基本操作 grep命令用于打印输出文本中匹配的模式串，它使用正则表达式作为模式匹配的条件。grep支持三种正则表达式引擎，分别用三个参数指定： 参数 说明 -E POSIX扩展正则表达式，ERE -G POSIX基本正则表达式，BRE -P Perl正则表达式，PCRE 不过在你没学过perl语言的大多数情况下你将只会使用到ERE和BRE,所以我们接下来的内容都不会讨论到PCRE中特有的一些正则表达式语法（它们之间大部分内容是存在交集的，所以你不用担心会遗漏多少重要内容） 在通过grep命令使用正则表达式之前，先介绍一下它的常用参数： 参数 说明 -b 将二进制文件作为文本来进行匹配 -c 统计以模式匹配的数目 -i 忽略大小写 -n 显示匹配文本所在行的行号 -v 反选，输出不匹配行的内容 -r 递归匹配查找 -A n n为正整数，表示after的意思，除了列出匹配行之外，还列出后面的n行 -B n n为正整数，表示before的意思，除了列出匹配行之外，还列出前面的n行 --color=auto 将输出中的匹配项设置为自动颜色显示     2.使用正则表达式 使用基本正则表达式，BRE 位置 查找/etc/group文件中以"shiyanlou"为开头的行 $ grep 'shiyanlou' /etc/group $ grep '^shiyanlou' /etc/group   数量 # 将匹配以'z'开头以'o'结尾的所有字符串 $ echo 'zero\nzo\nzoo' | grep 'z.*o' # 将匹配以'z'开头以'o'结尾，中间包含一个任意字符的字符串 $ echo 'zero\nzo\nzoo' | grep 'z.o' # 将匹配以'z'开头,以任意多个'o'结尾的字符串 $ echo 'zero\nzo\nzoo' | grep 'zo*' 注意：其中\n为换行符   选择 # grep默认是区分大小写的，这里将匹配所有的小写字母 $ echo '1234\nabcd' | grep '[a-z]' # 将匹配所有的数字 $ echo '1234\nabcd' | grep '[0-9]' # 将匹配所有的数字 $ echo '1234\nabcd' | grep '[[:digit:]]' # 将匹配所有的小写字母 $ echo '1234\nabcd' | grep '[[:lower:]]' # 将匹配所有的大写字母 $ echo '1234\nabcd' | grep '[[:upper:]]' # 将匹配所有的字母和数字，包括0-9,a-z,A-Z $ echo '1234\nabcd' | grep '[[:alnum:]]' # 将匹配所有的字母 $ echo '1234\nabcd' | grep '[[:alpha:]]'   下面包含完整的特殊符号及说明： 特殊符号 说明 [:alnum:] 代表英文大小写字节及数字，亦即 0-9, A-Z, a-z [:alpha:] 代表任何英文大小写字节，亦即 A-Z, a-z [:blank:] 代表空白键与 [Tab] 按键两者 [:cntrl:] 代表键盘上面的控制按键，亦即包括 CR, LF, Tab, Del.. 等等 [:digit:] 代表数字而已，亦即 0-9 [:graph:] 除了空白字节 (空白键与 [Tab] 按键) 外的其他所有按键 [:lower:] 代表小写字节，亦即 a-z [:print:] 代表任何可以被列印出来的字节 [:punct:] 代表标点符号 (punctuation symbol)，亦即：" ' ? ! ; : # $... [:upper:] 代表大写字节，亦即 A-Z [:space:] 任何会产生空白的字节，包括空白键, [Tab], CR 等等 [:xdigit:] 代表 16 进位的数字类型，因此包括： 0-9, A-F, a-f 的数字与字节   # 排除字符 $ echo 'geek|good' | grep '[^o]'   使用扩展正则表达式，ERE 要通过grep使用扩展正则表达式需要加上-E参数，或使用egrep。 数量 # 只匹配"zo" $ echo 'zero\nzo\nzoo' | grep -E 'zo{1}' # 匹配以"zo"开头的所有单词 $ echo 'zero\nzo\nzoo' | grep -E 'zo{1,}' 选择 # 匹配"www.shiyanlou.com"和"www.google.com" $ echo 'www.shiyanlou.com\nwww.baidu.com\nwww.google.com' | grep -E 'www\.(shiyanlou|google)\.com' # 或者匹配不包含"baidu"的内容 $ echo 'www.shiyanlou.com\nwww.baidu.com\nwww.google.com' | grep -Ev 'www\.baidu\.com' 关于正则表达式和grep命令的内容就介绍这么多，下面会介绍两个更强大的工具sed和awk，但同样也正是因为这两个工具的强大，我们的内容无法包含它们的全部，这里将只对基本内容作介绍。 三、sed 流编辑器 sed常用参数介绍 sed 命令基本格式： sed [参数]... [执行命令] [输入文件]... # 形如： $ sed -i '1s/sad/happy/' test # 表示将test文件中第一行的"sad"替换为"happy" sed编辑器的执行命令（这里”执行“解释为名词） sed执行命令格式： [n1][,n2]command [n1][~step]command # 其中一些命令可以在后面加上作用范围，形如： $ sed -i 's/sad/happy/g' test # g表示全局范围 $ sed -i 's/sad/happy/4' test # 4表示指定行中的第四个匹配字符串 其中n1,n2表示输入内容的行号，它们之间为,逗号则表示从n1到n2行，如果为～波浪号则表示从n1开始以step为步进的所有行；command为执行动作，下面为一些常用动作指令：   sed操作举例 我们先找一个用于练习的文本文件： $ cp /etc/passwd ~ 打印指定行 # 打印2-5行 $ nl passwd | sed -n '2,5p' # 打印奇数行 $ nl passwd | sed -n '1~2p'   行内替换 # 将输入文本中"shiyanlou" 全局替换为"hehe",并只打印替换的那一行，注意这里不能省略最后的"p"命令 $ sed -n 's/shiyanlou/hehe/gp' passwd 行间替换 $ nl passwd | grep "shiyanlou" # 删除第21行 $ sed -n '21c\www.shiyanlou.com' passwd   四、awk文本处理语言   在大多数linux发行版上面，实际我们使用的是gawk（GNU awk，awk的GNU版本），在我们的环境中ubuntu上，默认提供的是mawk，不过我们通常可以直接使用awk命令（awk语言的解释器），因为系统已经为我们创建好了awk指向mawk的符号链接。 $ ll /usr/bin/awk     awk命令基本格式 awk [-F fs] [-v var=value] [-f prog-file | 'program text'] [file...] 其中-F参数用于预先指定前面提到的字段分隔符（还有其他指定字段的方式） ，-v用于预先为awk程序指定变量，-f参数用于指定awk命令要执行的程序文件，或者在不加-f参数的情况下直接将程序语句放在这里，最后为awk需要处理的文本输入，且可以同时输入多个文本文件。现在我们还是直接来具体体验一下吧。     变量名 说明 FILENAME 当前输入文件名，若有多个文件，则只表示第一个。如果输入是来自标准输入，则为空字符串 $0 当前记录的内容 $N N表示字段号，最大值为NF变量的值 FS 字段分隔符，由正则表达式表示，默认为" "空格 RS 输入记录分隔符，默认为"\n"，即一行为一个记录 NF 当前记录字段数 NR 已经读入的记录数 FNR 当前输入文件的记录数，请注意它与NR的区别 OFS 输出字段分隔符，默认为" "空格 ORS 输出记录分隔符，默认为"\n"     Linux 下软件安装       比如我们想安装一个软件，名字叫做 w3m(w3m是一个命令行的简易网页浏览器)，那么输入如下命令： $ sudo apt-get install w3m 这样的操作你应该在前面的章节中看到过很多次了，它就表示将会安装一个软件包名为w3m的软件 我们来看看命令执行后的效果：   $ w3m www.shiyanlou.com/faq     5.软件升级 # 更新软件源 $ sudo apt-get update # 升级没有依赖问题的软件包 $ sudo apt-get upgrade # 升级并解决依赖关系 $ sudo apt-get dist-upgrade 6.卸载软件 如果你现在觉得 w3m 这个软件不合自己的胃口，或者是找到了更好的，你需要卸载它，那么简单！同样是一个命令加回车 sudo apt-get remove w3m ，系统会有一个确认的操作，之后这个软件便“滚蛋了”。   或者，你可以执行 # 不保留配置文件的移除 $ sudo apt-get purge w3m # 或者 sudo apt-get --purge remove # 移除不再需要的被依赖的软件包 $ sudo apt-get autoremove 7.软件搜索 当自己刚知道了一个软件，想下载使用，需要确认软件仓库里面有没有，就需要用到搜索功能了，命令如下： sudo apt-cache search softname1 softname2 softname3…… apt-cache 命令则是针对本地数据进行相关操作的工具，search 顾名思义在本地的数据库中寻找有关softname1 softname2 …… 相关软件的信息。现在我们试试搜索一下之前我们安装的软件 w3m ，如图：   结果显示了4个 w3m 相关的软件，并且有相关软件的简介。 关于在线安装的的内容我们就介绍这么多，想了解更多关于APT的内容，你可以参考： APT HowTo 三、使用 dpkg 从本地磁盘安装 deb 软件包 1.dpkg 介绍 dpkg 是 Debian 软件包管理器的基础，它被伊恩·默多克创建于 1993 年。dpkg 与 RPM 十分相似，同样被用于安装、卸载和供给和 .deb 软件包相关的信息。 dpkg 本身是一个底层的工具。上层的工具，像是 APT，被用于从远程获取软件包以及处理复杂的软件包关系。"dpkg"是"Debian Package"的简写。 我们经常可以在网络上简单以deb形式打包的软件包，就需要使用dpkg命令来安装。 dpkg常用参数介绍： 参数 说明 -i 安装指定deb包 -R 后面加上目录名，用于安装该目录下的所有deb安装包 -r remove，移除某个已安装的软件包 -I 显示deb包文件的信息 -s 显示已安装软件的信息 -S 搜索已安装的软件包 -L 显示已安装软件包的目录信息 2.使用dpkg安装deb软件包 我们先使用apt-get加上-d参数只下载不安装，下载emacs编辑器的deb包，下载完成后，我们可以查看/var/cache/apt/archives/目录下的内容，如下图：   然后我们将第一个deb拷贝到home目录下，并使用dpkg安装 $ cp /var/cache/apt/archives/emacs24_24.3+1-4ubuntu1_amd64.deb ~ # 安装之前参看deb包的信息 $ sudo dpkg -I emacs24_24.3+1-4ubuntu1_amd64.deb 如你所见，这个包还额外依赖了一些软件包，这意味着，如果主机目前没有这些被依赖的软件包，直接使用dpkg安装可能会存在一些问题，因为dpkg并不能为你解决依赖关系。 # 使用dpkg安装 $ sudo dpkg -i emacs24_24.3+1-4ubuntu1_amd64.deb 跟前面预料的一样，这里你可能出现了一些错误：   我们将如何解决这个错误了，这就要用到apt-get了，使用它的-f参数了，修复依赖关系的安装 $ sudo apt-get -f install 没有任何错误，这样我们就安装成功了，然后你可以运行emacs程序   3.查看已安装软件包的安装目录 如果你依然在纠结到底linux将软件安装到了什么地方，那么很幸运你将可以通过dpkg找到答案 使用dpkg -L查看deb包目录信息 $ sudo dpkg -L emacs

 

 

 

 

 

 

转载于:https://www.cnblogs.com/ClareOhno/p/4827620.html