使用 Python 编写一个 FUSE 文件系统

如果你是一个固定的读者,您可能已经注意到,我一直在追求一个完美的备份程序,来结束写我自己的bup(Back UP,是储存器DVD Video上的某些文件的一种格式)上的加密层。

在写encbup(加密bup),我对恢复一个文件必须下载整个巨大的存档不是很满意,为了有真正的可远程挂载、加密的,反复制的,有版本的备份,我仍然希望能使用EncFS(一个免费的,开源的,基于GPL的,FUSE级别的加密文件系统)和rdiff-backup(远程增量备份工具)。

尝试再次obnam(爆料:它仍然是相当缓慢的),我注意到,它包括amountcommand。浏览它,我发现了fuse-python和fusepy,意识到使用Python编写一个FUSE文件系统中是很简单的。

机敏的的观察家将已经意识到我要做的:我决定用Python写一个加密文件系统层!这  加密文件系统层将非常类似于EncFS,仅有几个重要的差异: 
  • 它在默认情况下将工作在逆模式,接受常规文件和显示一个加密目录。这样,任何备份程序会看到(和备份)加密目录,没有任何额外的存储需求可言。
  • 它还将接受一个带目录列表的配置文件,并将它们显示在挂载点。这样,备份脚本需要做的所有工作就是备份这个挂载点,各种不同的目录将会立即被备份。
  • 它将适合用于备份,而不是加密存储,而且写起来非常有趣。

一个简单的FUSE文件系统

写这个脚本的第一步是编写一个纯透明文件系统。它仅接受一个目录,并显示在挂载点,确保挂载点所有的更改将被镜像到源。

fusepy要求你写一个具有各种操作系统级文件系统中定义方法的类。你定义你的文件系统支持的,留下未定义的,但我需要定义它们全部,因为我的文件系统是一个透明的文件系统,应该尽可能忠实于原系统,像原系统一样地工作。

写这个是非常容易和有趣的,因为大多数方法只是瘦封装操作系统模块(事实上,如果你喜欢你可以直接将它们赋值,例如open= os.open,但我的模块需要一些路径扩展)。不幸的是,fuse-python有一个bug(在我看来),即  打开和读文件时fuse-python不允许通过文件句柄返回文件系统,所以我的脚本不能告诉文件处理一个想要读或写的应用,它将导致失败。fusepy工作非常好,所需的改变最小。它也是一个单独的文件,因此你能把它和你的项目绑定。

代码

如果你想实现你自己的文件系统,我在这给出代码。它提供了一个很好的起点,因为你可以粘贴这个类 到您的项目 并重载你所需要的方法,忽略掉其他部分。
#!/usr/bin/env python

from __future__ import with_statement

import os
import sys
import errno

from fuse import FUSE, FuseOSError, Operations


class Passthrough(Operations):
    def __init__(self, root):
        self.root = root

    # Helpers
    # =======

    def _full_path(self, partial):
        if partial.startswith("/"):
            partial = partial[1:]
        path = os.path.join(self.root, partial)
        return path

    # Filesystem methods
    # ==================

    def access(self, path, mode):
        full_path = self._full_path(path)
        if not os.access(full_path, mode):
            raise FuseOSError(errno.EACCES)

    def chmod(self, path, mode):
        full_path = self._full_path(path)
        return os.chmod(full_path, mode)

    def chown(self, path, uid, gid):
        full_path = self._full_path(path)
        return os.chown(full_path, uid, gid)

    def getattr(self, path, fh=None):
        full_path = self._full_path(path)
        st = os.lstat(full_path)
        return dict((key, getattr(st, key)) for key in ('st_atime', 'st_ctime',
                     'st_gid', 'st_mode', 'st_mtime', 'st_nlink', 'st_size', 'st_uid'))

    def readdir(self, path, fh):
        full_path = self._full_path(path)

        dirents = ['.', '..']
        if os.path.isdir(full_path):
            dirents.extend(os.listdir(full_path))
        for r in dirents:
            yield r

    def readlink(self, path):
        pathname = os.readlink(self._full_path(path))
        if pathname.startswith("/"):
            # Path name is absolute, sanitize it.
            return os.path.relpath(pathname, self.root)
        else:
            return pathname

    def mknod(self, path, mode, dev):
        return os.mknod(self._full_path(path), mode, dev)

    def rmdir(self, path):
        full_path = self._full_path(path)
        return os.rmdir(full_path)

    def mkdir(self, path, mode):
        return os.mkdir(self._full_path(path), mode)

    def statfs(self, path):
        full_path = self._full_path(path)
        stv = os.statvfs(full_path)
        return dict((key, getattr(stv, key)) for key in ('f_bavail', 'f_bfree',
            'f_blocks', 'f_bsize', 'f_favail', 'f_ffree', 'f_files', 'f_flag',
            'f_frsize', 'f_namemax'))

    def unlink(self, path):
        return os.unlink(self._full_path(path))

    def symlink(self, target, name):
        return os.symlink(self._full_path(target), self._full_path(name))

    def rename(self, old, new):
        return os.rename(self._full_path(old), self._full_path(new))

    def link(self, target, name):
        return os.link(self._full_path(target), self._full_path(name))

    def utimens(self, path, times=None):
        return os.utime(self._full_path(path), times)

    # File methods
    # ============

    def open(self, path, flags):
        full_path = self._full_path(path)
        return os.open(full_path, flags)

    def create(self, path, mode, fi=None):
        full_path = self._full_path(path)
        return os.open(full_path, os.O_WRONLY | os.O_CREAT, mode)

    def read(self, path, length, offset, fh):
        os.lseek(fh, offset, os.SEEK_SET)
        return os.read(fh, length)

    def write(self, path, buf, offset, fh):
        os.lseek(fh, offset, os.SEEK_SET)
        return os.write(fh, buf)

    def truncate(self, path, length, fh=None):
        full_path = self._full_path(path)
        with open(full_path, 'r+') as f:
            f.truncate(length)

    def flush(self, path, fh):
        return os.fsync(fh)

    def release(self, path, fh):
        return os.close(fh)

    def fsync(self, path, fdatasync, fh):
        return self.flush(path, fh)


def main(mountpoint, root):
    FUSE(Passthrough(root), mountpoint, foreground=True)

if __name__ == '__main__':
    main(sys.argv[2], sys.argv[1])

如果你想作为一个脚本运行它,那么安装fusepy,放这个脚本到一个文件里(例如myfuse.py),然后运行python myfuse.py /your/dir  /mnt/point。你将看到在/mnt/point下/your/dir中的所有文件能被操作,就像它们是在原始的文件系统。

结语

总的来说,我没想到写一个文件系统是如此简单。现在剩下的就是在脚本中编写加密/解密功能和一些辅助方法。我的目标是这个脚本可以完整替代EncFS,特别是它具有更好的扩展性(它是用Python写)和旨在备份文件这样额外的特性。

如果你想继续关注这个脚本开发,请订阅下面我的邮件列表,或在Twitter上跟帖。一如既往,非常欢迎反馈(理想的的方法是跟帖评论)。


你可能感兴趣的:(工作,python,操作系统,文件系统,methods)