"大数据产品中的异构数据源整合"分享总结

概述:

此分享是关于大数据产品中的异构数据源整合的汇总,作者来自于淘宝

 

挑战:

计算
• 离线计算:灵活性低,但性能可控,数据产品的主流模式
• 实时计算:灵活性高,技术挑战较大
• 流式计算:数据时效性高,技术挑战较大
存储与查询
• 如何让查询更快
• 大数据的存储成本

 

架构图:


"大数据产品中的异构数据源整合"分享总结_第1张图片
 

 

技术点:

用中间层隔离前后端,解耦合;
内存sql执行;
Node.JS:使用多核;

 

更多详情参见附件

你可能感兴趣的:(大数据)