大型分布式服务的主要技术攻关问题总结

  • 大型项目常见问题总结
  1. 业务发展快,代码规模爆发
  2. 接口定义不规范
  3. 业务耦合紧密
  4. 共用数据库,导致读写效率低和维护成本高
  5. 耦合第三方业务,比如支付和小视频等
  6. 数据库设计混乱
  • 技术挑战
  1. 服务技术挑战::基于Dubbo分布式服务设计
  2. 实时业务分析:基于Storm实时统计分析
  3. 数据库服务 OLTP挑战:逻辑读总量与计算函数(解决方案:需要尽量避免计算过程,),磁盘单块读(解决方案:Cache技术与B-tree索引技术),热快的问题(解决方案:创建反向索引) 
  4. 数据库服务 OLAP挑战:磁盘子系统的吞吐量 (解决方案:分区分表,并行技术)
  5. 分布式事务:二阶段提交
  6. 数据整合:提取特征进行数据分析,并实现实时数据特征抽取和模型更新
  • 分布式系统的挑战
  1. 分布式系统所依赖的基础设施包括服务框架、消息中间件、数据访问中间件、配置中心、分布式缓存系统、持久化存储(关系数据库、nosql数据库)
  2. 搜索引擎、CDN网络、负载均衡系统、运维自动化系统、硬件虚拟化及镜像管理系统、分布式文件系统、日志收集系统、监控系统、离线计算、实时计算、数据仓库等等。
  • 应用场景的积累
  1. 应用场景之一:A业务从上线至今, App累计用户3000万(月活480万,日活近百万),超过1500家集团入驻,18000跑团加入,成功举办了近百场线上跑步挑战赛。
  2. 应用场景之二:B业务定位集中在 “依托一平台、聚焦N应用、构建生态系统,实现开放共赢”。通过与产业界各方合作,不断丰富医疗平台创新应用,夯实医疗平台服务能力,形成医疗健康大数据平台,并积极开拓行业市场,构建多层面、多方共赢的B2B2C价值链和医疗健康产业生态圈。
  • 大型云平台设计架构

大型分布式服务的主要技术攻关问题总结_第1张图片

  • 产品线的规划

大型分布式服务的主要技术攻关问题总结_第2张图片

你可能感兴趣的:(大数据平台架构设计,大数据平台架构设计)