百度技术沙龙第25期：中科院查礼谈大数据研究进展

在4月7日举行的第25期百度技术沙龙（海量数据处理解析）活动中，特别邀请到中科院计算所副研究员、大规模数据计算专家查礼（@solochar）作为嘉宾与参会者分享大数据领域的研究成果。查礼主要谈到了在RCFile、MapReduce方向的研究情况，并谈到了对大数据研究趋势的看法。

查礼首先做了自我介绍：

我现在在中国科学院计算技术研究所，从事大规模数据计算方面的研究工作，也是Hadoop in China大会的发起人和组织者。在去年的Hadoop in China 大会中，我们也曾邀请Hadoop之父——Doug Cutting到场演讲。

最早的研究源自于RCFile：

最早的研究是基于与Apache Hive的合作，叫RCFile。RCFile是把原来的SequenceFile的纯行存储结构，改成行列混合结构。列存储的优势在于它的压缩率、加载速度上。而且目前RCFile已经在FaceBook 等生产系统上得到了应用。这项研究工作的意义在于，从存储结构角度来解决存储空间不足、加载速度和查询速度不理想等问题。

此外，查礼还谈到了MapReduce解耦方向的进展：

大家都知道在MapReduce模型中，Map和Reduce之间相互依赖，这样导致在资源利用上会出现非常严重的浪费。另外，对于用户作业的执行时间来讲，也很难预测。如果能从Map和Reduce两阶段将其解耦，资源和预测这两个问题就迎刃而解了。目前我们也在某个比较著名的IT公司实际环境上做了测试，可提高大概30%~50%左右的性能，效果还是很明显的。

查礼认为，大数据领域研究的发展主要可分三个阶段：大、快、准，

第一个阶段是大，现在已经出现了像Hadoop这样的软件，来处理数据。

第二个阶段是快，在遇到大量数据计算时，如何缩短计算时间，而且是从数量级上提高，这是这个阶段的重点，目前我们也正处于这个阶段。

第三个阶段我个人认为应该是准，比如不同用户在搜索引擎中进行搜索，搜索引擎会根据每个人不同的喜好返回不同的结果，目前好像有的搜索引擎公司正在从事这方面的研究工作。

最后，查礼谈到了大数据研究的两个发展趋势：

从研究角度来说，大数据的研究经历了一个变化的过程，主要是计算模式由数据向计算靠拢，转变为计算向数据靠拢。也就是说数据在哪里，我们就尽量把计算放在哪里，正因为有这样的一个计算模式的变化，所以产生了很多新的技术。

第二个是向专业化方向发展，越来越多的NoSQL数据库被广泛应用，每种又有其适合的特定场景，不像以前，MySQL或是Oracle这样的关系数据库包打天下，未来，肯定是向专业化方向去发展。如果条件具备，如果应用足够庞大，完全有可能从上到下，甚至包括硬件在内都可以自己来做，为的是什么？为的是能够节约成本、提高性能，等等，这是两个大的趋势。

延伸阅读

百度技术沙龙第25期回顾：海量数据处理技术解析（含资料下载）

演讲视频：Hypertable Goes Realtime at Baidu，百度，杨栋

演讲视频：58同城在分布式存储方面的架构实践，58同城，徐振华