python编写shell脚本详细讲解

      今天需要编写一个shell脚本实现App自动生成的功能，需要处理HTTP REST请求，解析JSON，处理文件，执行命令等，本来想用shell搞定，但感觉比较麻烦，还是用python吧，虽然以前用Python都是在树莓派上玩的，多尝试一种方法总是好的。

       虽然我受linux的影响甚深，但是对于*nix 里随处可见的sh脚本却是讨厌之极。为什么讨厌呢？首先是因为sh脚本那莫名其妙的语法，感觉就像随写随扔的程序，完全没有任何美感可言。其次是sh脚本的处理能力还是比较弱的，在文本处理、XML处理还有网络编程方面，基本上都要借助于perl,awk等一堆程序，语法都比较麻烦，对于不经常用的人来说，记忆困难。

python可以做shell脚本吗？ 首先介绍一个函数：

os.system(command)

这个函数可以调用shell运行命令行command并且返回它的返回值。试一下在 python的解释器里输入os.system(”ls -l”)，就可以看到”ls”列出了 当前目录下的文件。可以说，通过这个函数，python就拥有了shell的所有能力。呵呵。。不过，通常这条命令不需要用 到。因为shell常用的那些命令在python中通常有对应而且同样简洁的写法。

shell中最常用的是ls命令，python对应的写法是：os.listdir(dirname)，这个函数返回字符串列表，里面是所有的文件名，不过不包含”.”和”..”。如果要遍历 整个目录的话就会比较复杂一点。我们等下再说吧。先在解释器里试一下：

>>> os.listdir(”/”)

[’tmp’, ‘misc’, ‘opt’, ‘root’, ‘.autorelabel’, ’sbin’, ’srv’, ‘.autofsck’, ‘mnt’, ‘usr’, ‘var’, ‘etc’, ’ selinux’, ‘lib’, ‘net’, ‘lost found’, ’sys’, ‘media’, ‘dev’, ‘proc’, ‘boot’, ‘home’, ‘bin’]

就像这样，接下去所有命令都可以在python的解释器里直接运行观看结果。

对应于cp命令的是：shutil.copy(src,dest)，这个函数有两个参数，参数src是指源文件的名字，参数dest则是目标文件或者目标目录的名字。 如果dest是一个目录名，就会在那个目录下创建一个相同名字的文件。与shutil.copy函数相类似的是 shutil.copy2(src,dest)，不过copy2还会复制最后存取时间和最后更新时间。

不过，shell的cp命令还可以复制目录，python的shutil.copy却不行，第一个参数只能是一个文件。这怎么办？其实，python还有个shutil.copytree(src,dst[,symlinks]) 。参数多了一个symlinks，它是一个布尔值，如果是True的话就创建符号链接。

移动或者重命名文件和目录呢？估计被聪明的朋友猜到了，shutil.move(src,dst)，呵呵。。与mv命令类似，如果src和dst在同一个文件 系统 上，shutil.move只是简单改一下名字，如果src和dst在不同的文件系统上，shutil.move会先把src复制到dst，然后删除src文件 。看到现在，大多数朋友应该已经对 python的能力有点眉目了，接下来我就列个表，介绍一下其它的函数：

os.chdir(dirname)
把当前工作目录切换到dirname下

os.getcwd()
返回当前的工作目录路径

os.chroot(dirname)
把dirname作为进程的根目录。和*nix下的chroot命令类似

os.chmod(path,mode)
更改path的权限位。mode可以是以下值(使用or)的组合：

os.S_ISUID
os.S_ISGID
os.S_ENFMT
os.S_ISVTX
os.S_IREAD
os.S_IWRITE
os.S_IEXEC
os.S_IRWXU
os.S_IRUSR
os.S_IWUSR
os.S_IXUSR
os.S_IRWXG
os.S_IRGRP
os.S_IWGRP
os.S_IXGRP
os.S_IRWXO
os.S_IROTH
os.S_IWOTH
os.S_IXOTH

具体它们是什么含义，就不仔细说了，基本上就是R代表读,W代表写，X代表执行权限。USR 代表用户，GRP代表组，OTH代表其它。

os.chown(path,uid,gid)
改变文件的属主。uid和gid为-1的时候不改变原来的属主。

os.link(src,dst)
创建硬连接

os.mkdir(path,[mode])
创建目录。mode的意义参见os.chmod()，默认是0777

os.makedirs(path,[mode])
和os.mkdir()类似，不过会先创建不存在的父目录。

os.readlink(path)
返回path这个符号链接所指向的路径

os.remove(path)
删除文件，不能用于删除目录

os.rmdir(path)
删除文件夹，不能用于删除文件

os.symlink(src,dst)
创建符号链接

shutil.rmtree(path[,ignore_errors[,onerror]])

删除文件夹
介绍了这么多，其实只要查一下os和shutil两个模块的文档就有了，呵呵。。真正编写 shell脚本的时候还需要注意：

1.环境变量。python的环境变量保存在os.environ这个字典里，可以用普通字典的方法修改它，使用system启动其它程序的时候会自动被继承。比如：

os.environ[”fish”]=”nothing”
不过也要注意，环境变量的值只能是字符串。和shell有些不同的是，python没有 export环境变量这个概念。为什么没有呢？因为python没有必要有:-)

2.os.path这个模块里包含了很多关于路径名处理的函数。在shell里路径名处理好像不是很重要，但是在python里经常需要用到。最常用的两个是分离和合并目录名和文件名：

os.path.split(path) -> (dirname,basename)
这个函数会把一个路径分离为两部分，比如：os.path.split(”/foo /bar.dat”)会返回(”/foo”,”bar.dat”)

os.path.join(dirname,basename)
这个函数会把目录名和文件名组合成一个完整的路径名，比如：os.path.join(”/foo”,”bar.dat”)会返回”/foo/bar.dat”。这个函数和os.path.split()刚好相反。

还有这些函数：

os.path.abspath(path)
把path转成绝对路径

os.path.expanduser(path)
把path中包含的”~”和”~user”转换成用户目录

os.path.expandvars(path)
根据环境变量的值替换path中包含的”$name”和”${name}”，比如环境变量 FISH=nothing，那os.path.expandvars(”$FISH/abc”)会返回”nothing/abc”

os.path.normpath(path)
去掉path中包含的”.”和”..”

os.path.splitext(path)
把path分离成基本名和扩展名。比如：os.path.splitext(”/foo /bar.tar.bz2″)返回(’/foo/bar.tar’, ‘.bz2′)。要注意它和os.path.split()的区别

3.在os模块有一个很好用的函数叫os.stat()没有介绍，因为os.path模块里包含了一组和它具有同样功能的函数，但是名字更好记一点。

os.path.exists(path)
判断文件或者目录是否存在

os.path.isfile(
判断path所指向的是否是一个普通文件，而不是目录

os.path.isdir(path)

判断path所指向的是否是一个目录，而不是普通文件

os.path.islink(path)
判断path所指向的是否是一个符号链接

os.path.ismount(path)
判断path所指向的是否是一个挂接点(mount point)

os.path.getatime(path)
返回path所指向的文件或者目录的最后存取时间。

os.path.getmtime(path)
返回path所指向的文件或者目录的最后修改时间

os.path.getctime(path)
返回path所指向的文件的创建时间

os.path.getsize(path
返回path所指向的文件的大小

4.应用python编写shell脚本经常要用到os,shutil,glob(正则表达式的文件名),tempfile(临时文件),pwd(操作/etc/passwd文件),grp(操作/etc/group文件),commands(取得一个命令的输出)。前面两个已经基本上介绍完了，后面几个很简单，看一下文档就可以了。

5.sys.argv是一个列表，保存了python程序的命令行参数。其中 sys.argv[0]是程序本身的名字。
不能光说不练，接下来我们就编写一个用于复制文件的简单脚本。前两天叫我写脚本的同事有个几万个文件的目录，他想复制这些文件到其它的目录，又不能直接复制目录本身。他试了一下”cp src/* dest/”结果报了一个命令行太长的错误，让我帮他写一个脚本。操起python来：

import sys,os.path,shutil
for f in os.listdir(sys.argv[1]):
shutil.copy(os.path.join(sys.argv[1],f),sys.argv[2])

再试一下一个例子——把一个文件夹下的所有文件重命名成 10001～10999。可以这样写：

import os.path,sys
dirname=sys.argv[1]
i=10001
for f in os.listdir(dirname):
src=os.path.join(dirname,f)
if os.path.isdir(src):
continue
os.rename(src,str(i))
i =1