shell编程范例之字符串操作[转]
shell编程范例之字符串操作 下面是"在线新华字典"的解释：
而字符呢？
照这样说，之前介绍的数值操作中的数字，逻辑运算中的真假值，都是以字符的形式呈现出来的，是一种特别的字符，对它们的运算只不过是字符操作的特例罢了。而这里将研究一般字符的运算，它具有非常重要的意义，因为对我们来说，一般的工作都是处理字符而已。这些运算实际上将围绕上述两个定义来做。 第一、找出字符或者字符串的类型，是数字、字母还是其他特定字符，是可打印字符，还是不可打印字符（一些控制字符）。 第二、找出组成字符串的字符个数和字符串的存储结构（比如数组）。 第三、对串的常规操作：求子串、插入字符、删除字符、置换字符、字符串的比较等。 第四、对串的一些比较复杂而有趣的操作，这里将在最后介绍一些有趣的范例。 1. 字符串的属性 1.1 字符串的类型 字符有可能是数字、字母、空格、其他特殊字符，而字符串有可能是它们任何一种或者多种的组合，在组合之后还可能形成一个具有特定意义的字符串，诸如邮件地址，URL地址等。 概要示例: 下面我们来看看如何判断字符的类型。
说明： [1] /dev/null和/dev/zero是非常有趣的两个设备，它们都犹如一个黑洞，什么东西掉进去都会消失殆尽；后者则是一个能源箱，你总能从那里取到0，直到你退出。两者的部分用法见：关于zero及NULL设备的一些问题 [2] [[:space:]]是grep用于匹配空格或者TAB键类型字符串的一种标记，其他类似的标记请查看grep的帮助,man grep。 [3] 上面都是用grep来进行模式匹配，实际上sed, awk都可以用来做模式匹配，关于匹配中用到的正则匹配模式知识，大家可以参考正则匹配模式，更多相关资料请看参考资料。 [4] 如果仅仅想判断字符串是否为空，即判断字符串的长度是否为零，那么可以简单的通过test命令的-z选项来判断，具体用法见test命令，man test. 概要示例: 判断字符是否可打印？如何控制字符在终端的显示。
更多关于字符在终端的显示控制方法，请参考资料[20]和字符显示实例[21]：用shell实现的一个动态时钟。 1.2 字符串的长度 概要示例: 除了组成字符串的字符类型外，字符串还有哪些属性呢？组成字符串的字符个数。下面我们来计算字符串的长度，即所有字符的个数，并简单介绍几种求字符串中指定字符个数的方法。
说明： ${}操作符在Bash里头一个“大牛”，能胜任相当多的工作，具体就看看网中人的《shell十三问》之《Shell十三问》之"$(( )) 與 $( ) 還有${ } 差在哪？" 吧。 1.3 字符串的存储 在我们看来，字符串是一连串的字符而已，但是为了操作方便，我们往往可以让字符串呈现出一定的结构。在这里，我们不关心字符串在内存中的实际存储结构，仅仅关系它呈现出来的逻辑结构。比如，这样一个字符串："get the length of me"，我们可以从不同的方面来呈现它。 1.3.1 通过字符在串中的位置来呈现它 这样我们就可以通过指定位置来找到某个子串。这在c语言里头通常可以利用指针来做。而在shell编程中，有很多可用的工具，诸如expr，awk都提供了类似的方法来实现子串的查询动作。两者都几乎支持模式匹配(match)和完全匹配(index)。这在后面的字符串操作中将详细介绍。 1.3.2 根据某个分割符来取得字符串的各个部分 这里最常见的就是行分割符、空格或者TAB分割符了，前者用来当行号，我们似乎已经司空见惯了，因为我们的编辑器就这样“莫名”地处理着行分割符（在 unix下为/n，在其他系统下有一些不同，比如windows下为/r/n)。而空格或者TAB键经常用来分割数据库的各个字段，这似乎也是司空见惯的事情。 正是因为这样，所以产生了大量优秀的行编辑工具，诸如grep,awk,sed等。在“行内”（姑且这么说吧，就是处理单行，即字符串里头不再包含行分割符）的字符串分割方面，cut和awk提供了非常优越的“行内”（处理单行）处理能力。 1.3.3 更方便地处理用分割符分割好的各个部分 同样是用到分割符，但为了更方便的操作分割以后的字符串的各个部分，我们抽象了“数组”这么一个数据结构，从而让我们更加方便地通过下标来获取某个指定的部分。bash提供了这么一种数据结构，而优秀的awk也同样提供了它，我们这里将简单介绍它们的用法。 概要示例：利用数组存放"get the length of me"的用空格分开的各个部分。
okay，就介绍到这里啦。为什么要介绍这些内容？再接着看下面的内容，你就会发现，那些有些的工具是怎么产生和发展起来的了，如果累了，看看最后一篇参考资料吧，它介绍了一些linux命令名字的由来，说不定可以帮助你理解本节下面的部分呢。 2. 字符串常规操作 字符串操作包括取子串、查询子串、插入子串、删除子串、子串替换、子串比较、子串排序、子串进制转换、子串编码转换等。 2.1 取子串 概要示例：取子串的方法主要有：直接到指定位置求子串，字符匹配求子串。
说明： [1] %和#的区别是，删除字符的方向不一样,前者在右，后者在左，%%和%,##和#的方向是前者是最大匹配，后者是最小匹配。(好的记忆方法见网中人的键盘记忆法:#$%是键盘依次从左到右的三个键) [2] tr的-c选项是complement的缩写，即invert，而-d选项是删除的意思，tr -cd "[a-z]"这样一来就变成保留所有的字母啦。 对于字符串的截取，实际上还有一些命令，如果head,tail等可以实现有意思的功能，可以截取某个字符串的前面、后面指定的行数或者字节数。例如：
2.2. 查询子串 概要示例：子串查询包括：返回符合某个模式的子串本身和返回子串在目标串中的位置。 准备：在进行下面的操作之前，请把http://oss.lzu.edu.cn/blog/blog.php?do_showone/tid_1385.html链接中的内容复制到一个文本text里头，用于下面的操作。
说明： [1] awk,grep,sed都能通过模式匹配查找指定的字符串，但是它们各有擅长的领域，我们将在后续的章节中继续使用和比较它们，从而发现各自的优点。 [2] 在这里我们姑且把文件内容当成了一个大的字符串，在后面的章节中我们将专门介绍文件的操作，所以对文件内容中存放字符串的操作将会有更深入的分析和介绍。 2.3. 子串替换 子串替换就是把某个指定的子串替换成其他的字符串，实际上这里就蕴含了“插入子串”和“删除子串”的操作。例如，你想插入某个字符串到某个子串之前，就可以把原来的子串替换成”子串+新的字符串“，如果想删除某个子串，就把子串替换成空串。不过有些工具提供了一些专门的用法来做插入子串和删除子串的操作，所以呆伙还是会专门介绍的。另外，要想替换掉某个子串，一般都是先找到子串（查询子串），然后再把它替换掉的，实质上很多工具在使用和设计上都体现了这么一点。 概要示例：下面我们把变量var中的空格替换成下划线看看。
说明：sed还有很有趣的标签用法呢，下面再介绍吧。 有一种比较有意思的字符串替换是，整个文件行的倒置，这个可以通过tac命令实现，它会把文件中所有的行全部倒转过来。在一定意义上来说，排序实际上也是一个字符串替换。 2.4. 插入子串 插入子串：就是在指定的位置插入子串，这个位置可能是某个子串的位置，也可能是从某个文件开头算起的某个长度。通过上面的练习，我们发现这两者之间实际上是类似的。 公式：插入子串=把"old子串"替换成"old子串+new子串"或者"new子串+old子串" 概要示例：：下面在var字符串的空格之前或之后插入一个下划线
2.5. 删除子串 删除子串：应该很简单了吧，把子串替换成“空”（什么都没有）不就变成了删除么。还是来简单复习一下替换吧。 概要示例：：把var字符串中所有的空格给删除掉。 鼓励： 这样一替换不知道变成什么单词啦，谁认得呢？但是中文却是连在一起的，所以中文有多难，你想到了么？原来你也是个语言天才，而英语并不可怕，你有学会它的天赋，只要你有这个打算。
如果要删除掉第一个空格后面所有的字符串该怎么办呢？还记得{}的#和%用法么？如果不记得，回到这一节的还头开始复习吧。（实际上删除子串和取子串未尝不是两种互补的运算呢，删除掉某些不想要的子串，也就同时取得另外那些想要的子串——这个世界就是一个“二元”的世界，非常有趣） 2.6. 子串比较 这个很简单：还记得test命令的用法么？man test。它可以用来判断两个字符串是否相等的。另外，你发现了“字符串是否相等”和“字符串能否跟另外一个字符串匹配"两个问题之间的关系吗？如果两个字符串完全匹配，那么这两个字符串就相等了。所以呢，上面用到的字符串匹配方法，也同样可以用到这里。 2.7. 子串排序 差点忘记这个重要的内容了，子串排序可是经常用到的，常见的有按字母序、数字序等正序或反序排列。sort命令可以用来做这个工作，它和其他行处理命令一样，是按行操作的，另外，它类似cut和awk，可以指定分割符，并指定需要排序的列。
2.7. 子串进制转换 如果字母和数字字符用来计数，那么就存在进制转换的问题。在数值计算一节的回复资料里，我们已经介绍了bc命令，这里再简单的复习一下。
说明：ibase指定输入进制，obase指出输出进制，这样通过调整ibase和obase，你想怎么转就怎么转啦！ 2.7. 子串编码转换 什么是字符编码？这个就不用介绍了吧，看过那些乱七八糟显示的网页么？大多是因为浏览器显示时的”编码“和网页实际采用的”编码“不一致导致的。字符编码通常是指把一序列”可打印“字符转换成二进制表示，而字符解码呢则是执行相反的过程，如果这两个过程不匹配，则出现了所谓的”乱码“。 为了解决”乱码“问题呢？就需要进行编码转换。在linux下，我们可以使用iconv这个工具来进行相关操作。这样的情况经常在不同的操作系统之间移动文件，不同的编辑器之间交换文件的时候遇到，目前在windows下常用的汉字编码是gb2312，而在linux下则大多采用utf8。
说明：我的终端默认编码是utf8，所以结果如上。 3. 字符串操作范例 实际上，在用Bash编程时，大部分时间都是在处理字符串，因此把这一节熟练掌握非常重要。 3.1 处理一个非常有意义的字符串：URL地址 范例演示：处理URL地址 URL 地址(URL（Uniform Resoure Locator：统一资源定位器）是WWW页的地址)几乎是我们日常生活的玩伴，我们已经到了无法离开它的地步啦，对它的操作很多，包括判断URL地址的有效性，截取地址的各个部分（服务器类型、服务器地址、端口、路径等）并对各个部分进行进一步的操作。 下面我们来具体处理这个URL地址： ftp://anonymous:[email protected]/software/scim-1.4.7.tar.gz
有了上面的知识，我们就可以非常容易地进行这些工作啦：修改某个文件的文件名，比如调整它的编码，下载某个网页里头的所有pdf文档等。这些就作为练习自己做吧，如果遇到问题，可以在回帖交流。相应地可以参考这个例子： [1] 用脚本下载某个网页中的英文原著(pdf文档） http://oss.lzu.edu.cn/blog/blog.php?do_showone/tid_1228.html 3.2 处理格式化的文本：/etc/passwd 平时做工作，大多数时候处理的都是一些“格式化”的文本，比如类似/etc/passwd这样的有固定行和列的文本，也有类似tree命令输出的那种具有树形结构的文本，当然还有其他具有特定结构的文本。 关于树状结构的文本的处理，可以考虑看看这两个例子： [1] 用AWK转换树形数据成关系表 http://oss.lzu.edu.cn/blog/blog.php?do_showone/tid_1260.html [2] 用Graphviz进行可视化操作──绘制函数调用关系图 http://oss.lzu.edu.cn/blog/blog.php?do_showone/tid_1425.html 实际上，只要把握好特性结构的一些特点，并根据具体的应用场合，处理起来就不会困难。 下面我们来介绍具体有固定行和列的文本的操作，以/etc/passwd文件为例。关于这个文件的帮忙和用户，请通过man 5 passwd查看。下面我们对这个文件以及相关的文件进行一些有意义的操作。
上面涉及到了处理某格式化行中的指定列，包括截取（如SQL的select用法），连接（如SQL的join用法），排序（如SQL的order by用法)，都可以通过指定分割符来拆分某个格式化的行，另外，“截取”的做法还有很多，不光是cut，awk，甚至通过IFS指定分割符的read命令也可以做到，例如：
因此，熟悉这些用法，我们的工作将变得非常灵活有趣。 到这里，需要做一个简单的练习，如何把按照列对应的用户名和用户ID转换成按照行对应的，即把类似下面的数据：
转换成：
并转换回去，有什么办法呢？记得诸如tr，paste,split等命令都可以使用。 参考方法： ＊正转换：先截取用户名一列存入文件user，再截取用户ID存入id，再把两个文件用paste -s命令连在一起，这样就完成了正转换。 ＊逆转换：先把正转换得到的结果用split -1拆分成两个文件，再把两个拆分后的文件用tr把分割符"/t"替换成"/n"，只有用paste命令把两个文件连在一起，这样就完成了逆转换。 更多有趣的例子，可以参考该序列第一部分的回复，即参考资料[16]的回复，以及兰大开源社区镜像站用的镜像脚本，即参考资料[17]，另外，参考资料[18]关于用Shell实现一个五笔反查小工具也值得阅读和改进。 *更多例子将逐步补充和完善。 参考和推荐资料： [1] 《高级Bash脚本编程指南》之操作字符串 http://www.linuxpk.com/doc/abs/string-manipulation.html [2] 《高级Bash脚本编程指南》之指定变量的类型 http://www.linuxpk.com/doc/abs/declareref.html [3] 《Shell十三问》之$(( )) 與 $( ) 還有${ } 差在哪？ http://bbs.chinaunix.net/viewthread.php?tid=218853&extra=&page=7#pid1617953 [4] Regular Expressions - User guide http://www.zytrax.com/tech/web/regex.htm [5] Regular Expression Tutorial http://analyser.oli.tudelft.nl/regex/index.html.en [6] Grep Tutorial http://www.panix.com/~elflord/unix/grep.html [7] Sed Tutorial http://www.panix.com/~elflord/unix/sed.html [8] awk Tutorial http://www.gnulamp.com/awk.html [9] sed Tutorial http://www.gnulamp.com/sed.html [10] An awk Primer http://www.vectorsite.net/tsawk.html [11] 一些奇怪的 unix 指令名字的由来 http://www.linuxsir.org/bbs/showthread.php?t=24264 [12] 磨练构建正则表达式模式的技能 http://www.ibm.com/developerworks/cn/aix/library/au-expressions.html [13] 实用正则表达式 http://www.linuxlong.com/forum/bbs-27-1.html [14] AWK使用手册 3 楼的回复帖 http://oss.lzu.edu.cn/modules/newbb/viewtopic.php?topic_id=1006&forum=26 [15] 基础11：文件分类、合并和分割(sort,uniq,join,cut,paste,split) http://blog.chinaunix.net/u/9465/showart_144700.html [16] Shell编程范例之数值运算 http://oss.lzu.edu.cn/blog/blog.php?do_showone/tid_1391.html [17] 兰大Mirror镜像站的镜像脚本 http://oss.lzu.edu.cn/blog/article.php?tid_1236.html [18] 一个用Shell写的五笔反查小工具 http://oss.lzu.edu.cn/blog/blog.php?/do_showone/tid_1017.html [19] 使用Linux 文本工具简化数据的提取 http://linux.chinaunix.net/docs/2006-09-22/2803.shtml [20] 如何控制终端：光标位置，字符颜色，背景，清屏... http://oss.lzu.edu.cn/modules/newbb/viewtopic.php?topic_id=962&forum=13 [21] 在终端动态显示时间 http://oss.lzu.edu.cn/modules/newbb/viewtopic.php?topic_id=964&forum=26 |
|||||||||||||||||||||