4月13日下午，我司 CEO 郭斯杰受邀在 DataPipeline & Apache Rocket Meetup 中分享了 Efficient Schemas in Event Streaming using Apache Pulsar。
郭斯杰是 StreamNative 的联合创始人，Apache Pulsar PMC Member 和 Apache BookKeeper PMC Chair，对 Event Streaming、流计算及其周边生态有着强烈兴趣。在 meetup 中，他介绍了 Apache Pulsar：一款分布式发布-订阅消息流系统。Pulsar 支持多租户，支持队列和流计算（streaming），计算存储分离。他从如何开始使用 Pulsar，异常解析讲到 Pulsar schema。在 schema 中，他详细介绍了如何利用 schema 定义序列化、非序列化数据，schema 的 primitive 和 complex 类型；generic schema, auto schema 及其使用示例，schema 的发展及其管理等等。更多详细介绍，请观看视频。

除了斯杰的分享，meetup 中还有七位大咖，分享了 Apache RocketMQ 的发展史及其声明式运维，微软第二曲线数字化转型创新的新模式，Kafka、RocketMQ 在瓜子、VIP KID 的实践等。真可谓是大咖云集，大饱眼福。特别感谢数见科技及各个协办单位为大家提供了这么好的机会。

下面我们来一起回顾下这场盛宴吧。

Talk 1: Apache RocketMQ Past, Now and Future

厉启鹏（Apache RocketMQ 中国社区发起人）
厉启鹏老师为大家介绍了 Apache RocketMQ，一款分布式消息中间件，是金融级消息流数据平台，能支撑万亿级消息洪峰，是第一个中国企业贡献给 Apache 的顶级项目。他介绍了 RocketMQ 的发展史、生态系统及其未来愿景：

孵化 50+ 企业
增加 500+ 社区 contributors，把 RocketMQ 做得更加完善
在全球支持 50000+ 企业
覆盖到 5000000+ 开发者，通过城市社区聚集、培养 RocketMQ 人才，进一步完善 RocketMQ 产品。

随后他分享了 RocketMQ 在平安银行、微众银行、弘康人寿、券商和联想的案例；RocketMQ 的社区情况：开发者关系，媒体矩阵，开发者培训，社区管理，文档和布道。厉老师特别强调，RocketMQ 的文档放在 https://github.com/apache/rocketmq/tree/master/docs 目录，分为中英文目录，文档中介绍了 RocketMQ 的原理，最佳实践和 example 等。之后厉老师介绍了 RocketMQ 生态项目组（今年的重点是开发 connectors）和城市社区的理念和想法。在最后环节，他介绍了 RocketMQ 5.0 的特点：协议可插拔，存储和计算分离（这个和 Apache Pulsar 的特性相似哦）；在运维方面优化 console，优化周边生态，让其更易用。

Talk 2: “第二曲线”与企业数字化转型创新

檀林（微软加速器北京 CEO）
“这是一场技术盛宴，但我们不要就技术讨论技术，更要想想怎么帮助传统企业利用技术创新。”檀老师高屋建瓴，带领大家跳出具体技术细节，开启“第二曲线”，用数据技术带动企业数字化转型创新。

新技术推动变革速度呈指数级增长，既有的市场定义不再适用。数字化转型创新将带来新的商业模式和行业改变。如果商业模式构建在数据上，和传统的制造业通过占有资源，形成竞争关系不同，数据的价值，不在于你拥有多少，而在于你能分享多少；通过分享数据，获取反馈，数据的价值会形成指数增长。
数据技术驱动企业六大“蝶变”：产品服务化，服务智能化，员工社会化，客户员工化，资源共享化，公司平台化。
数字化转型需要建立新的商业思维，开启“第二曲线”需要刷新底层商业操作系统和认知。在这里檀老师推荐了两本书：《第二曲线：跨越“S型曲线”的第二次增长》、《刷新：重新发现商业和未来》。他以微软为案例，讲述了微软是如何通过刷新使命、刷新战略、刷新文化，经过短短四年的时间，再次走向技术巅峰。

刷新使命：赋能全球每一个人，每一个组织，帮助他们成就不凡；
建立耳目一新、出人意料的伙伴关系，共同做大蛋糕；
刷新文化：用“同理心”重新发现商业与未来，加强成长性思维，成为终身学习者和超级合作者。
微软从封闭转变为全世界为开源贡献最多的公司，在眼里没有竞争对手。我们向微软学习，一起拥抱开源吧，Apache Pulsar 社区热烈欢迎您～～

CEO 的 3C 法则：文化（culture）、能力（capabilities）、概念（concept)。微软的重生完美地揭示了企业如何冲破自我开启“第二曲线”实现成功转型。

檀老师给大家分享了一个公式
（教育+创新）x 数字化转型强度=第二曲线增长
他介绍了微软加速器企业数字转型创新第二曲线计划，如何开启数字化创新型企业的增长模式(startup+微软校友帮助+微软研究院战略帮助)，并总结了数字化转型创新使企业有机会成为平台化的公司，升级商业模式纬度：从有边界的企业蜕化成无边界的企业。

Talk 3: 新型企业数据融合平台的探索与实践

刘瀚林（DataPipeline 后端研发负责人）
数见科技是一家专业提供一站式实时数据融合服务的公司，国内实时数据管道技术的倡导者。DataPipeline 是数见科技自主研发的一款数据融合产品，无需任何代码，通过可视化图形配置界面只需 5 分钟即可自服务部署一条实时数据管道，并提供丰富的管理功能。

刘瀚林老师介绍了数据融合的背景：数据融合是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集成，从而为企业提供全面的数据共享。
企业数据融合平台的典型架构

企业数据融合要解决的关键问题：异构、动态、扩展、完整。

异构：繁琐的数据源和目的地适配工作，异构数据的转换
动态：数据源结构随时可能发生变化，造成下游写入失败
扩展：受业务驱动的水平扩展和一对多分发要求，多任务并行的 QoS
完整：数据一致性保证，任务暂停及出错后的进度恢复
消息队列在数据融合平台中的作用：解藕、高可用、水平扩展、schema mapping、offset 管理和一致性。
随后，刘老师介绍了 DataPipeline 现有的架构，Kafka connect 的特性介绍和 offset 的管理，DataPipeline 在项目中遇到的挑战及解决方案，如何保证数据的一致性，流式框架下的批量同步事务性保证及实现细节，分库分表/多对一的实时同步，多表下的低延时。他把 Kafka Connect 与 OpenMessaging Connect 做了详细对比。

最后，他分享了 OpenMessaging connect runtime 设计的想法。他希望未来和社区一同优化 OpenMessaging connect runtime 实现，提供基于 OpenMessaging 的 DataPipeline 版本。

Talk 4: RocketMQ 的声明式运维

-- 利用 Kubernetes Operator 模式运维 RocketMQ 集群

王昕（RocketMQ & OpenMessaging Community，阿里中间件技术团队高级技术专家）
王昕老师给大家详细讲述了为什么 RocketMQ 需要 Operator。
核心问题就是无状态服务和有状态服务的区别：无法同时保证一致性和可用性。

Kubernetes 架构

随后，他给大家详细讲解了 Kubernetes 的主要概念：

cluster，master，node，namespace。
labels, annotations, selectors。
stateless workloads
stateful and system workloads
network access

Kubernetes 发展的很好，是因为它的扩展性特别好，能够吸引各个应用将其能力扩展在 Kubernetes 上。它的扩展点有 Devices， storage（volume），networking（CNI）和 custom API。
Kubenetes 拥有丰富的资源，从 API server 到 ETCD，API server 中包括 pod，svc，job，deploy，rs，crobjob 和 CRD。
Kubenetes 还有 custom resource definition，kubenetes controllers。
随后，王老师给大家介绍了 RocketMQ cluster topology，如何部署 RocketMQ 集群和数据的工作等。他的讲解详细而有深度，让大家进一步了解了 Kubernetes 和 RocketMQ 集群。

Talk 5:瓜子结构化数据流

彭超、孙强（瓜子架构师）
彭超老师先和大家解释了瓜子选择 Kafka 的原因：数据量大，需要分布式处理、分布式存储，多语言支持和高可用。瓜子在使用 Kafka 遇到的问题：参数配置问题，开发测试不方便，监控报警没有， Topic 申请不便，结构化数据查询不方便，消费差异定位不便，不知道下游，运维复杂等等。遇到这么多问题，瓜子是如何解决的呢？彭老师通过使用场景，和大家一一分享了解决方案。
彭老师身兼二职，代替孙强和大家分享了瓜子实时数据 ADHOC，离线数据 ADHOC，BI 类应用等等。

Talk 6：Apache RocketMQ 开发者沙龙

李伟（VIP KID 数据中间件架构师）
李伟老师先和大家介绍了 VIP KID 选择 MQ 需求：性能好，主题多，统一管理，API 友好，能再次开发。通过各种比较筛选，VIP KID 最终选择了 RocketMQ 和 Kafka。他从四个方面讲述了 RocketMQ 在 VIP KID 中的实践：Diff-subscription-in-the-same-group, Docker, how to work in in-multi-testing-env, VKMQ console。他希望 MQ 未来能采用 OpenMessaging 标准，希望在 VIP KID 中 RocketMQ 和 Kafka 能实现 All in one。
我们衷心祝愿李老师的愿望能早日实现，同时也希望 Apache Pulsar 能帮助李老师尽快实现这个美好愿望。

有关本次 meetup 的更多干货分享，请关注 DataPipeline 微信公众号。
有关 Pulsar 的更多分享，请关注 ApachePulsar/StreamNative 微信公众号和我们的后续文章。

DataPipeline & Apache Rocket Meetup 简单回顾