linux三剑客/代码屠夫sed，grep，xargs初尝试

最近公司项目代码从gogs迁移到gitlab上，项目中大量的pod子组建里的podspec配置，git配置，还有各种脚本里的服务器地址都需要替换。所以就写了python脚本全局替换。无意中发现前同事遗留下来的shell脚本，看上去比python简洁得多，其中一个sed命令引起我的注意，于是研究了一下，确实强大。本文主要记录使用sed，grep，xargs工具由简到繁最终解决问题的过程，以及自我总结。

sed简介

SED的英文全称是 Stream EDitor，它是一个简单而强大的文本解析转换工具，在1973-1974年期间由贝尔实验室的Lee E. McMahon开发，今天，它已经运行在所有的主流操作系统上了。

SED的典型用途

• 文本替换
• 选择性的输出文本文件
• 从文本文件的某处开始编辑
• 无交互式的对文本文件进行编辑等

示例(Example)

• 匹配链接

sed -n '/http:\/\/.*\/[a-zA-Z]*\.git/ p' UpdatePodScript.sh

在文件UpdatePodScript.sh匹配项目的git地址,p命令是指打印匹配结果，-n指禁止输入文件读入sed模式空间时默认输出，避免重复输出，一般-n与p同时使用。

• 匹配目标(需要替换)部分

sed -n 's|http:\/\/\(.*\)\/[a-zA-Z]*\.git|\1| p' UpdatePodScript.sh
// 匹配完整的git链接
sed -n 's/\(http:\/\/\)\(.*\)\(\/[a-zA-Z]*\.git\)/\1GogsAddress\3/ p' UpdatePodScript.sh
// 用|，@，^，!进行分隔，去除\转义符，便于阅读
sed -n 's@\(http://\)\(.*\)\(/[a-zA-Z]*\(\.git\)\{0,1\}\)@\1GogsAddress\3@ p' LYHttpManager.podspec

括号内就是你需要替换的内容，\1是括号内内容的别称，如果有多个括号对应别称就是顺延\1、\2、\3、... 注意这里括号需要转义\(xxx\)。

• 匹配并替换目标部分

sed -i '' 's@\(http://\)\(.*\)\(/[a-zA-Z]*\(\.git\)\{0,1\}\)@\1GogsAddress\3@g' LYHttpManager.podspec

-i:直接修改读取的文件内容，而不是输出到终端。
'':取消因为mac系统对sed命令要求的强制备份。
s:替换命令，格式'/s/oldstring/newstring',将oldstring替换成newstring，默认只替换文件里的第一个oldstring。
g:替换文件里的全部oldstring。

这里有一个问题，sed正则是不是不支持?,+，我试过匹配不出来。

• 匹配替换grep搜索的所有结果（最终命令）

grep -rl 'GitLabAddress' . | sed 's/ /\\ /g' | xargs sed -i '' 's@\(http://\)\(.*\)\(/[a-zA-Z]*\(\.git\)\{0,1\}\)@\1GogsAddress\3@g'
// 因为是1对1的替换，所以不需要正则匹配，把正则换成链接字符串。
grep -rl 'GogsAddress' . | sed 's/ /\\ /g' | xargs sed -i '' 's@GogsAddress@GitLabAddress@g'

-r:遍历目录及所有子目录。
-l:只显示符合条件的文件名(包含路径)

整个命令通过|分为三部分：

1. 获取包含'GogsAddress'字符串的所有文件名。
2. 将路径中空格' '转义成'\ '.
3. 将'GogsAddress'替换成'GitLabAddress'。

sed与python

• sed

grep -rl 'GogsAddress' . | sed 's/ /\\ /g' | xargs sed -i '' 's@GogsAddress@GitLabAddress@g'

• python

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import os
import re
import sys

# profile文件目录
# ROOT_PATH = '/Users/wans/Documents/iOSUser/Code/LYLawyerPlatform_User'

GITLAB_HOST_ADDRESS = "GitLabAddress"
ROOT_PATH = os.getcwd()

def replace_address(address):
    fo = open(address,'r+')
    content = fo.read()

    pattern = re.compile(r'http://(.+)/(\w+)(\.git)*')
    match = pattern.search(content)
    if match:
        old_module_address = match.group(1)

        content = content.replace(old_module_address,GITLAB_HOST_ADDRESS)

        fo = open(address, 'w')
        fo.write(content)
        fo.flush()

    if fo:
        fo.close()

def main():

    files = os.listdir(ROOT_PATH)
    for subdir in files:
        subdir = os.path.join(ROOT_PATH,subdir)
        if os.path.isdir(subdir):
            module_files = os.listdir(subdir)
            # 遍历子项目
            for module_subdir in module_files:
                module_subdir = os.path.join(subdir,module_subdir)
                if module_subdir.endswith('.git'):
                    module_dir = os.path.join(module_subdir,"config")
                    print module_dir
                    if os.path.exists(module_dir):
                        replace_address(module_dir)

                if module_subdir.endswith('Example'):
                    module_dir = os.path.join(module_subdir,"Podfile")
                    print module_dir
                    if os.path.exists(module_dir):
                        replace_address(module_dir)

                if module_subdir.endswith('.podspec'):
                    print module_subdir
                    replace_address(module_subdir)

                if module_subdir.endswith('UpdatePodScript.sh'):
                    print module_subdir
                    replace_address(module_subdir)

if __name__ == '__main__':
    main()

没有比较两个工具好坏的意思，只是直观比较而已。

最终一行命令解决问题，而我写的python脚本几十行，重点是sed只在终端运行就可以，只在终端运行就可以，只在终端运行就可以，所以称sed为代码屠夫也不为过。虽然sed命令简洁，但是不太明了，光那转义符都看得头晕，可读性不高。but，我还是倾向于用sed解决问题，恩，没有为什么。

以上

完全现学现用，见笑了，就算抛砖引玉吧。

参考资料

• 三十分钟学会SED
• xargs命令详解，xargs与管道的区别