python调用terminal命令（os.system/os.popen）及踩坑

自动化流程中常常需要用python调用terminal命令实现全流程自动化运行

本文介绍常用的两个函数：os.system/os.popen

os.system用法：

    if os.path.exists(saved_root):
        print("del old and mkdir new {} !".format(saved_root))
        os.system("rm -rf "+saved_root)

os.system("cd abc;mv dftile_samples nj_csv")

os.popen用法：将命令执行结果以open形式打开。

f = os.popen('ls')
f.readlines()

踩坑：popen是非阻塞运行，即不用等到当前命令执行完毕就开始执行下一条命令。比如我从hdfs拉取数据，会导致拉取一半数据后就开始执行重命名操作，导致重命名前后文件同时存在，且两文件皆不全。

os.popen("hdfs dfs -get liangyun03/baidu_nj_DeepMGJob-shorter-南京市-20200101~20200131/dftile_samples")
os.popen("mv dftile_samples nj_csv")