Spark Storage之ExternalBlockStore
概要
前两篇介绍了Storage模块的MemoryStore和DiskStore，此外，Spark支持外部存储，即ExternalBlockStore。
Tachyon( Alluxio)
简介
ExternalBlockStore底层使用Tachyon(现更名为Alluxio)，Tachyon是一个分布式文件系统，提供内存级别的访问速度，通常作用于分布式计算框架(如spark)和底层存储之间(如HDFS)，起到数据缓存，内存共享的效果。
使用
Spark1.6及以前版本中使用Tachyon，参考Running Spark on Tachyon。
API
Tachyon提供了和Java File相似的API，远程访问Tachyon服务，主要为TachyonFS和TachyonFile，一个简单的上传数据的例子如下
val input: byte[] = _
val masterURI = _
val filePath = _
val client: TachyonFS = TachyonFS.get(new TachyonURI(masterURI), new TachyonConf())
val file: TachyonFile = client.getFile(filePath)
val os: FileOutStream = file.getOutStream(WriteType.TRY_CACHE)
try {
os.write(input)
} finally {
os.close()
}更多关于Tachyon的内容，可以参考Tachyon: A Reliable Memory Centric Storage for Big Data Analytics。
ExternalBlockStore
ExternalBlockStore继承BlockStore，类图如下
ExternalBlockStore持有TachyonBlockManager对象，利用TachyonBlockManager中的TachyonFS对象和Tachyon服务交互，完成数据的上传下载删除等。此外，TachyonBlockManager维护着数据的层级结构，和Spark Storage之DiskStore中介绍的磁盘文件组织部分相似。
移除ExternalBlockStore
Spark2.0移除了ExternalBlockStore相关的API，参考Remove block manager’s internal “external block store” API，移除后StorageLevel.OFF_HEAP 作用等同于StorageLevel.MEMORY_AND_DISK_SER 。
移除了ExternalBlockStore API后，设置StorageLevel.OFF_HEAP不能使用Tachyon了，只能通过saveAsTextFile API使用，如下
sc.hadoopConfiguration.set("fs.tachyon.impl", "tachyon.hadoop.TFS")
var file = sc.textFile("tachyon://localhost:19998/LICENSE")
val counts = file.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _)
counts.saveAsTextFile("tachyon://localhost:19998/result")更多参考Explore In-Memory Data Store Tachyon。
总结
介绍Tachyon及Spark的ExternalBlockStore相关部分。