Alluxio
Tachyon 前身的名字 超光速粒子
以内存为中心的分布式文件系统
HDFS、S3....
介于计算层和存储层之间
计算层：Spark、Flink、MapReduce
存储层在内存中的一个Cache系统
Spark/Alluxio：AMPLab
2012/12 0.1.0
将计算和存储分离 移动计算优于移动数据
能够为我们带来什么？？？
Flink能否替代Spark成为第三代/新一代执行引擎？
Hadoop真的凉了吗？那我还有必须学习Hadoop吗？
Flume吞吐量多少？Spark Application放多少资源？
如何保证数据不丢失
自动动手测试一下
时效性的要求是越来越高的
基于内存 Memory is King Spark Flink
两面性1） 2 Spark Application 需要共享数据，必须通过写XX操作
2）基于JVM对数据进行缓存
Spark Application = 1 Driver + N executor
3）2 Spark Application操作相同的数据
HDFS ==> WC ==> SINK
HDFS ==> XXX ==> SINK
Alluxio不是Apache的顶级项目
https://www.alluxio.io/
https://github.com/Alluxio/alluxio
特点：
1）原生的API和文件系统的非常类似
2）兼容性 Hadoop Spark Flink
3）列式
4）底层文件系统是可插拔的
5）Web UI
6）Command line interaction
hadoop/hdfs fs -ls ...
alluxio fs ....
Spark 两个不同角度的应用进行实战
Spark 离线
Spark 实时
Alluxio部署
1）下载
2）解压到app
3）配置到系统环境变量
4）conf/
alluxio-site.properties
masters
workers
5）格式化
6）启动
7）hadoop000:19999 可以看到Alluxio的Web UI
Alluxio常用的命令行参数
alluxio fs
ls lsr mkdir cat
copyFromLocal copyToLocal mv
pin
count location
Alluxio和HDFS整合
Alluxio和MapReduce整合
hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar wordcount -libjars /home/hadoop/app/alluxio-1.8.1/client/alluxio-1.8.1-client.jar alluxio://hadoop000:19998/alluxio/wc/input/hello.txt alluxio://hadoop000:19998/alluxio/wc/output
Alluxio和Spark整合
做了这几个与Alluxio的整合，业务逻辑根本没有发生变化，只是:
1) 环境上变化
2) hdfs ==> alluxio