python模块之ftplib

接上面两篇：
python操作hdfs模块上传文件到HDFS
python脚本---上传本机文件到远端(接上文)
由于与客户为未正式沟通，所以脚本再次发生变化，再次。。。（不能再客户机器安装东西，不能在客户机器跑脚本。。。）。随之，第三个脚本诞生。
此次脚本无需安装任何三方库，对方机器只需要开启ftp服务就可以。
背景：对方windwos server每天会在对应的三个文件夹内各产生一个文件，每天凌晨1点以后需要同步今天以前的日志到linux server。
应用:所以该脚本每天被定时启动一次，每次过滤掉当天的文件，增量同步之前的日志文件，因为日志文件只要上传到linux，flume就会去读取，未拷贝结束的就会报错，所以增加了拷贝中名字以.tmp结尾，拷贝完成以源文件名命名。

1. 脚本文件
syncfile.py

# -*- coding: utf-8 -*-
__author__ = 'hand'

import settings
import os
import subprocess
import logging
from ftplib import FTP
from datetime import datetime

class Filesync(object):

    def __init__(self):
        self.f = open("exitsfile.log", "a+")
        self.remotehost = settings.REMOTE_HOST
        self.remoteport = settings.REMOTE_PORT
        self.username = settings.REMOTE_USER
        self.password = settings.REMOTE_PWD
        self.remotepath = settings.REMOTE_PATH
        self.localpath = settings.LOCAL_PATH
        self.ftppath = settings.FTP_PATH

        self.ftp = FTP()  # 实例化一个ftp对象
        self.ftp.connect(self.remotehost, self.remoteport)
        self.ftp.login(self.username, self.password)

    @staticmethod
    def mylogger():
        logger = logging.getLogger("test")
        logger.setLevel(logging.DEBUG)

        # 增加文件日志输出
        myhandler = logging.FileHandler("downloadinfo.log", "a")
        myhandler.setLevel(logging.DEBUG)  # 设置日志文件级别为INFO

        # 增加控制台日志输出
        console = logging.StreamHandler()
        console.setLevel(logging.DEBUG)  # 将控制台级别设置为DEBUG

        formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

        myhandler.setFormatter(formatter)
        console.setFormatter(formatter)

        logger.addHandler(myhandler)
        logger.addHandler(console)
        return logger

    def get_upload_files(self, now):
        """获取待上传的所有文件"""
        file_transfered_set =set()  # 用于存储已经上传过的文件
        root_dir = settings.REMOTE_PATH.replace(settings.FTP_PATH, '')  #待上传文件夹的父文件夹
        self.ftp.cwd(root_dir)
        total_list = []
        now_str = now.strftime('%Y%m%d')  # 不获取当天生成的日志
        for num, dir in enumerate(self.ftp.nlst()):
            if num == 0:
                self.ftp.cwd(dir)
                file_list = ["\\"+dir+"\\"+i for i in self.ftp.nlst() if now_str not in i]
            else:
                self.ftp.cwd("..\\" + dir)
                file_list = ["\\"+dir+"\\"+j for j in self.ftp.nlst() if now_str not in j]
            total_list.extend(file_list)

        total_list = [self.remotepath+k for k in total_list]  # 所有远程文件的列表
        remote_path_set = set(total_list)  # 用于存储远程文件

        self.f.seek(0,0)  # 将记录文件指针放在文件头，用于读文件

        for line in self.f.readlines():
            file_transfered = line.split("#")[-1].strip()
            file_transfered_set.add(file_transfered)
        #print remote_path_set
        # print "----"
        # print file_transfered_set
        ready_download_set = remote_path_set ^ file_transfered_set  # 待上传的文件
        return list(ready_download_set)

    def download_files(self):
        logger = self.mylogger()
        now = datetime.now()
        # print "进入 downloadfiles"
        ready_downfiles_list = self.get_upload_files(now)
        # print ready_downfiles_list
        if ready_downfiles_list:
            for file_name in ready_downfiles_list:
                self.ftp.cwd('..')  # 由于self.ftp为全局，所以要跳转回上一级
                file_need = file_name.replace(self.remotepath, '').replace('\\', '/')  # 文件名的上级文件夹+文件名
                # print file_need
                fath_dir = os.path.split(file_need)[0]  # 待上传文件上一级目录
                real_file = os.path.split(file_need)[1]  # 待上传文件名
                self.ftp.cwd('%s' % fath_dir[1:])  # 跳转到待上传文件所在文件夹内
                # 目录不存在则递归创建
                if not os.path.exists(self.localpath+fath_dir):
                    os.makedirs(self.localpath+fath_dir)
                # 打开一个本地文件，用于写入下载到的信息
                local_filename = self.localpath+file_need+'.tmp'
                local_file = open(local_filename, "wb")
                logger.info("%s 开始下载！" % file_name)
                # 下载文件， 路径必须为self.ftp所停留的路径下
                sucess = self.ftp.retrbinary('RETR %s' % real_file, local_file.write)
                self.f.write(now.strftime('%Y/%m/%d %H:%M:%S %A ') + ' #  ' + file_name + '\n')


                if sucess.endswith('complete.'):
                    # 去掉sessionlog文件夹下的第一行
                    local_file.close()
                    if fath_dir[1:] == 'sessionlog':
                        with open(local_filename, 'r') as f1:
                            lines = f1.readlines()
                        with open(local_filename, 'w') as f2:
                            for n,line in enumerate(lines):
                                if n == 0:
                                    continue
                                f2.write(line)

                    src_name = local_filename
                    dst_name = src_name[:-4]
                    os.renames(src_name, dst_name)
                logger.info("%s 下载完成！" % file_name)

        else:
            print "没有新文件需要下载!"

        self.ftp.quit()
        self.f.close()

if __name__ == "__main__":
    fs = Filesync()
    fs.download_files()

2. 配置文件

settings.py

# ftp地址
REMOTE_HOST = 'XX.XX.XX.XX'
# 端口
REMOTE_PORT = 21
# 电脑用户
REMOTE_USER = 'hand'
# 用户密码
REMOTE_PWD = '123456'
# ftp根目录
FTP_PATH = 'C:\\'
# 文件路径
REMOTE_PATH = 'C:\\test'
# 上传到的路径
LOCAL_PATH = '/storage/'