Facebook的Realtime Hadoop及其应用

在今年的SIGMOD‘11上，Facebook又发了一篇新paper（点此下载），讲述了它们在提高Hadoop实时性上的工作及其应用。简单来讲，他们的项目需求主要有：

1. Elasticity（伸缩性）
2. High write throughput（高写吞吐量）
3. Efficient and low-latency strong consistency semantics within a data center（单个data center内高性能、低延迟的强一致性）
4. Efficient random reads from disk（disk的高性能随机读）
5. High Availability and Disaster Recovery（高可靠性、灾后恢复能力）
6. Fault Isolation（错误隔离）
7. Atomic read-modify-write primitives（read-modify-write原子操作）
8. Range Scans（范围扫描）

最终他们选择了Hadoop和HBase作为解决方案的基石，因为HBase已经满足了上述需求中的大部分。与此同时，他们还做了如下三点改进以满足实时性需求：
1. File Appends
2. Name Node的高可靠性优化 (AvatarNode)
3. HBase的读性能的优化

文章还列举了三个基于此方案的应用：Facebook Message，Facebook Insight，Facebook Metric Systems，大家可以着重看看这三个应用的特点及需求是怎样被这个方案满足的。

在现在这个时代，只有大公司才有如此大的数据来做新东西，难怪Facebook，Google的paper被大量追捧了。

参考资料：
[1] Facebook’s New Realtime Analytics System: HBase To Process 20 Billion Events Per Day
[2] Real Time Analytics for Big Data: An Alternative Approach

下面是这篇文章的slides：

Realtime Apache Hadoop at Facebook

View more presentations from parallellabs

关于作者

冠诚, IBM中国研究院, 研究员

任何与多核、并行、多线程有关的话题都可以找我聊聊:-) 我的邮箱是chenguancheng AT gmail.com

Blog 豆瓣 Twitter LinkedIn Buzz 新浪微博

向文章付费 请作者吃饭

相关日志

• 12/02/2010 -- Jeff Dean关于Google系统架构的讲座