关于Alluxio 2.0,你要知道的都在这里了

2019-02-12,Alluxio团队奋战了快半年的一个重大的里程碑:2.0.0预览版的第一个候选版本(Release Candidate 1或RC1)发布了!今天内部测试跑完后,team里各位程序员小哥开心坐在了一起,就着肉吃起了Bagel(甜甜圈),“真香”。
2019-02-26, 2.0.0 preview的第二个候选版本RC2也发布了。

文档也跟着加入了2.0-preview:
http://www.alluxio.org/docs/2.0-preview/en/Getting-Started.html

功能千万条,安全第一条;“升级”不规范,亲人两行泪!

2.0预览版里,有哪些重要的新增功能?

  • 堆外元数据存储:用户可以通过配置alluxio.master.metastore = ROCKS以使用嵌入式RocksDB进行堆外元数据存储,从而避免JVM的堆内内存资源限制和GC带来的性能下降,并使Alluxio文件系统可以扩展到管理超过10亿个文件。

  • Alluxio POSIX API:POSIX兼容的API一直是一个被社区频繁请求的功能,我们观察到的情况是,即便是在大数据领域,POSIX API的流行仅次于Hadoop API。在Alluxio 2.0.0预览版中,我们支持通过对FUSE的支持来启用POSIX兼容API。

  • 无外部依赖的嵌入式文件系统Journal(相对于使用HDFS或S3等外部存储来存储Journal):Alluxio在2.0新添加的嵌入式Journal从原理上来说就是实现了一个完整的分布式状态机,它使用RAFT一致性算法,允许用户可以在高可用性模式下将文件系统的Journal写入该状态机而不用担心有机器宕机时文件系统状态的完整。此前Alluxio是通过将文件系统日志写入HDFS或者S3等外部存储来实现高可用,引入外部依赖的过程中会导致服务强依赖于外部的稳定性。

  • Job Service:Alluxio 2.0中,实现了一个针对Alluxio操作的轻量级分布式计算框架,主要用于提升各种ETL的任务,例如:

    • 主动的文件副本控制
    • 持久化文件和异步持久化文件
    • 跨越mount point的移动/复制
    • 分布式加载数据
  • 支持多个不同的HDFS版本:用户可以连接到任意数量的HDFS版本,比如一个2.x一个3.x的HDFS服务。

  • UI也升级了,变得酷酷的了呢


    Screen Shot 2019-02-12 at 11.51.01 PM.png

Alluxio 2.0.0正式版什么时候发布?

大约几个月以后,在2019年中期。

如何获取Alluxio 2.0.0的预览版

可以直接下载预编译的二进制文件(RC2为例):
http://downloads.alluxio.org/downloads/files/2.0.0-preview/alluxio-2.0.0-preview-RC2-bin.tar.gz

想要获取源代码, 可以在github上检索v2.0.0-preview-RC2这个tag
https://github.com/Alluxio/alluxio/tree/v2.0.0-preview-RC2

要使用和测试此版本,可以参阅此候选版本对应的文档
https://www.alluxio.org/docs/2.0-preview/en/Getting-Started.html

你可能感兴趣的:(关于Alluxio 2.0,你要知道的都在这里了)