Twitter Heron: Streaming at Scale

概要
数据规模的增长，人们对运行响应速度的要求比你我想象得还要快，还要快。我会从大数据时代对实时分析的需求出发，对需求进行分析，以及如何设计实时处理框架，现存的实时处理框架是如何满足这些需求的。我会着重分析Twitter的两代实时分析框架，Storm 和 Heron。作为Twitter Heron的作者之一，我从无到有地对实时分析框架进行了分析，设计和实现。但分布式领域水深， 我也是初窥门径，很希望可以和大家多多交流。

个人简介

符茂松，摩尔定律逐渐失效，系统设计者再也无法简单地通过硬件升级来获得巨大的性能提升；但人们需要处理的数据规模和对结果的响应速度需求，增长得越来越快。这时候，我们希望可以把过去的单机任务分割给许多计算机进行并行处理。我们需要分布式系统，从资源的分布式管理，分布式消息分发，分布式计算，到分布式存储等等。我目前在Twitter 工作，关注分布式系统领域，包括分布式实时分析，分布式消息分发和分布式存储。 另一方面，我致力于将理论研究工业化，和团队成员一起设计实现了 Storm/Heron等实时处理框架。我们很乐意分享工业化成果，在多个学术会议，大数据相关峰会，以及学校做过专题演讲。此外，我们在 2011年开源了Storm，后者成为目前业界最流行的分布式实时分析框架。分布式领域水深， 我也是初窥门径，目前也在编写实时分析相关技术书籍，很希望可以和大家多多交流，合作。

QCon是由InfoQ主办的全球顶级技术盛会，每年在伦敦、北京、东京、纽约、圣保罗、上海、旧金山召开。自2007年3月份首次举办以来，已经有超万名高级技术人员参加过QCon大会。QCon内容源于实践并面向社区，演讲嘉宾依据热点话题，面向5年以上的技术团队负责人、架构师、工程总监、高级开发人员分享技术创新和最佳实践。