Alluxio介绍与作用

一、介绍Alluxio

Tachyon正式改名为alluxio,并发布v1.0.0版本,alluxio是内存高速虚拟分布式存储系统。

Alluxio是一个以内存为中心的虚拟分布式存储系统,统一数据访问和桥梁的计算框架和底层存储系统。应用程序只需要alluxio就可以把访问存储在任何底层存储系统的数据连接。此外,Alluxio以内存为中心的架构实现数据访问的数量级的速度比现有的解决方案快很多。

在大数据的生态系统,Alluxio在于计算框架或jobs之间,如Apache的Spark,Apache的 MapReduce,或Apache Flink,和各种各样的存储系统,如Amazon S3,OpenStack Swift,GlusterFS, HDFS,Ceph,或OSS。Alluxio带来显着的改善生态系统的性能;例如,百度使用alluxio提高加速数据分 析管道30倍的吞吐量。

二、现有的特性

(1)、灵活的文件API

Alluxio的原生API与java.io.file类InputStream和OutputStream接口相似,提供高效的支持内存映射的I/O,我们推荐使用这个API来获得 最好的性能alluxio。另外,alluxio提供Hadoop兼容的文件系统接口,允许Hadoop MapReduce和Spark使用alluxio代替HDFS。

(2)、支持可插拔存储

(3)、分层存储

(4)、统一命名空间

(5)、血统

(6)、WebUI和命令行

欢迎关注我的微信公众号“叨叨大数据”,其中有更详细的讲解。

三、Alluxio层次化存储简介

        一)、分层存储种类

        1、MEM (内存)

        2、SSD (固态硬盘)

        3、HDD (硬盘驱动器)


        二)、分层存储参数
        
        更多内容请关注我的微信公众号“叨叨大数据”,参考《Alluxio层次化存储简介》这一篇。

 

你可能感兴趣的:(Alluxio介绍与作用)