云端共享文件系统 JuiceFS 在 2021 年选择开源

今天，云原生分布式文件系统官方公众号 Juicedata果汁数据科技发布消息称 JuiceFS 已经开源了！

开源地址：https://github.com/juicedata/...

JuiceFS 是什么

JuiceFS是基于Redis和对象存储（例如Amazon S3）构建的开源POSIX文件系统，针对云本机环境进行了设计和优化。通过使用广泛采用的Redis和S3作为持久性存储，JuiceFS可以用作无状态中间件，以使许多应用程序轻松共享数据。

突出的功能是：

• 完全兼容POSIX：JuiceFS是完全兼容POSIX的文件系统。现有的应用程序可以使用它而无需进行任何更改。请参阅下面的pjdfstest结果。
• 出色的性能：延迟可以低至几毫秒，并且吞吐量可以扩展到几乎无限。
• Cloud Native：通过利用云对象存储，您可以独立扩展存储和计算，也就是分解存储和计算架构。
• 共享：JuiceFS是一个共享文件存储，可以被许多客户端读取和写入。
• 全局文件锁：JuiceFS支持BSD锁（flock）和POSIX记录锁（fcntl）。
• 数据压缩：默认情况下，JuiceFS使用LZ4压缩所有数据，也可以使用Zstandard。

JuiceFS的由来

创始人刘洪清清华硕士毕业，毕业后即加入豆瓣成为早期员工，并研发了国内最早的开源 KV 存储 Beansdb 和 DPark （ Python clone of Spark ）；2013 年他加入 Facebook 总部负责 HDFS 方面的研发，2014 年加入 Databricks，帮助 Spark SQL 实现了上百倍的性能提升。

时值 Davies 负责为 Databricks 的存储层提速，虽然 AWS 已有相关的存储方案，但问题很多，且迟迟无法解决。于是，他提议，自研新的存储方案，系统性地解决问题。

不过，在当时的 Databricks，从架构师到管理层，几乎全部认为风险太大，无人支持 Davies 的提议。Davies 在接受TGO鲲鹏会的采访时表示说：「当时， CTO （注：Matei Zaharia，Apache Spark 作者）亲口对我说：『存储这不是我们擅长的事情，能不碰尽量不要碰。』」

在 Databricks 否决 Davies 的技术方案后，大概 Matei Zaharia 也没有想到，这个中国来的工程师颇有「美式英雄主义」精神。他不但没有放弃，反而用业余时间单枪匹马地写了个原型出来。之后，Davies 回忆道：「我找了一些朋友的公司去试用，发现效果也可以，所以我在想既然有这么不错的东西，就不能埋没它。」

2017 年，Davies 在美国远程敲定了国内的投资和早期客户，叫上当时也在创业的苏锐，共同创立了 Juicedata，并将产品命名为 JuiceFS。

为什么选择开源

刘洪清在创业之初，认为 SaaS 可以为用户提供最佳的体验，同时可以更快地迭代产品，所以决定优先把 SaaS 做好。经过 4 年的持续迭代和积累，JuiceFS 已经在几十家科技企业的大数据、AI、容器平台、归档、备份等场景中形成最佳实践， SaaS 使用量也持续快速增长，并且在过去的 2020 年首次实现了盈亏平衡。他相信找到了可持续发展的模式，有信心保障 JuiceFS 的长期运营。

他也发现闭源的基础软件会限制使用者对它的深度理解，不利于它服务更多的人，依靠 SaaS 产品的收入支撑和开源社区的力量，可以让 JuiceFS 帮助更多的人。

未来发展

最近几年，数据库领域发生了一件有趣的事情：当 NoSQL 数据库在满足了数据的快速增长后，它在一致性、访问便捷性和管理能力方面的不足逐渐显露，把这些复杂性转嫁到了业务系统和运维上，开始被人诟病。同时， SQL 数据库也有了长足的进展，已经能够满足现在的数据规模需求，经过全面的对比分析后，大家又在回归 SQL 数据库，曾经的 NoSQL 运动也逐渐显出颓势。

估计类似的事情也会发生在非结构数据领域。对象存储在媒体文件等场景取得了巨大的成功，但当人们以为它就是未来的存储形态，开始推广到更大范围时，它牺牲掉的树形目录结构、可修改性、元数据性能、一致性等等，变成了一只只拦路虎，影响它在其他场景的使用效果。

JuiceFS 坚信文件系统是最好的管理非结构化数据的方式，对象存储只适用于某些简单场景。分布式文件系统一直是基础软件中难啃的骨头，JuiceFS 通过对文件系统中元数据和数据的独立抽象，大大减低了系统复杂度，使得文件系统能够借助这些年来对象存储和分布式数据库的进展，管理超大规模的数据。同时，复杂度的降低可以让更多的开发者参与进来，未来更多的应用也会建立在文件系统接口之上。

JuiceFS 将通过开源社区的相互协作，一方面为各个应用提供更好的存储支持，也会在底层存储引擎和对象存储上加深协作，一起推动文件存储的快速发展，打造未来数据生态的坚实底座。