数新网络，让每个人享受数据的价值https://xie.infoq.cn/link?target=https%3A%2F%2Fwww.datacyber.com%2F一、Presto&Alluxio简介PrestoPresto是由Facebook开发的开源大数据分布式高性能SQL查询引擎。起初，Facebook使用Hive来进行交互式查询分析，但Hive是基于MapReduce为批处理而设计的，延

为了满足当下和未来的需求，很多公司不断升级数据平台并开发可扩展的解决方案。从现有的实践来看，虽然Presto具有处理海量数据的能力，但其在跨工作流的数据访问方面优化不足。因此，数据平台工程师还需要寻找其他的方案来解决数据冗余、易出错、性能缓慢、不稳定和高成本的问题。为了解决这些挑战，我们提出了一个创新架构，建议搭配部署Presto和Alluxio。Alluxio是一个数据编排平台，连接计算框架和底

可以给大家先简单介绍一下Presto，因为可能很多人是第一次接触这些大数据平台的技术。那Presto是什么呢？其实它就是能查询大量、海量数据的一个SQL数据库，SQL数据库大家已经见了很多了，MySQL、oracle这些都是SQL数据库。很多人可能也有体会，SQL是个很方便的查询数据的语言。那为什么要有Presto呢？首先如果你使用MySQL，oracle的话，你会发现它查一些小规模的数据,如果可

为了满足当下和未来的需求，很多公司不断升级数据平台并开发可扩展的解决方案。从现有的实践来看，虽然Presto具有处理海量数据的能力，但其在跨工作流的数据访问方面优化不足。因此，数据平台工程师还需要寻找其他的方案来解决数据冗余、易出错、性能缓慢、不稳定和高成本的问题。为了解决这些挑战，我们提出了一个创新架构，建议搭配部署Presto和Alluxio。Alluxio是一个数据编排平台，连接计算框架和底

Alluxio+Presto查询1、总述主机cpu内存磁盘p1(master)16core64GB100GBP28core32GB100GBP28core32GB100GB之前我基于TPC-DS做了很多轮测试，数据量也分布了几个维度，从结果行看性能提升并不明显，只是单表查询上略有提升，多表基本无变化。结果懒得贴上去了，具体可以看我提的issue。TPC-DS典型的单表查询groupby、count

1.说明p:prestoa:allixopz:zeppelinr:rancher分为三部分讲解1.什么是presto+Alluxio，大数据presto+Alluxio集成详细部署说明2.大数据zeppelin

编者按：本文是由网易游戏的大数据工程师撰写的基于Presto+Alluxio的adhoc查询方案在网易游戏的实践分享（作者详情见文末）业务背景作为全球领先的游戏开发与发行公司，网易游戏不仅自主研发了《梦幻西游

常用链接Alluxio项目官网AlluxioInc网站Alluxio在各大厂用例关注Alluxio微信公众号：Alluxio_ChinaPresto是一个开源的分布式SQL引擎，因其查询具有低延迟、高并发性和原生支持多数据源的特点而广受认可。Alluxio是一个开源分布式文件系统，以内存速度提供统一的数据访问层。Presto和Alluxio的组合在京东、网易等许多公司中越来越受欢迎，这些公司将Al