架构体系演进

总体概述

任何架构体系的成型都需要随着系统访问量,数据量增长而进行发展变更,业务需求在其中推动技术架构的发展变更。

架构目标

高性能:提供快速访问,高并发下及时响应

高可用:服务正常可用,可用性衡量标准通常为几个9

可伸缩:资源扩容,应对突发和流量脉冲

安全性:提供网站安全访问和数据加密、安全存储等策略。

扩展性:方便对现有模块做版本升级,新模块的上线,突发活动下的服务降级。

敏捷性:对系统突发情况的快速排查与应对。

架构演进总方向

部署层面:单机到集群,集中式到分布式,物理部署到云化

业务层面:单一mvc到垂直拆分,服务治理到微服务

数据层面:db到集群,单一关系型数据到多样化nosql,搜索引擎,文件服务


单机架构

单机架构适用于小型网站

方案

大型机:单机架构容易引发对单机性能的过度追求,造成大型机的高配发展,成本高,

JVM:  对于JVM单节点调优要求很高。但其优点同样明显。

特点

部署简单:采用web包部署与发布,db同台机器连接,简单易操作。

资源争夺:在业务发展的初始阶段尚可支撑,随着访问量的上升,单机性能很快会成为系统瓶颈。


数据分离

稍微大一点的系统,dba出现,数据库追逐商业大型db如oracle

方案

多台机器:tomcat与mysql各自独占机器资源

针对性扩容:tomcat应用机更注重cpu的运算和内存,mysql更注重io与磁盘性能,针对各自情况扩容

特点

数据维护:可以抽出单独的dba来维护数据库服务器

数据安全:需要跨机器访问数据库,链接密码需要注意防范泄漏

数据库瓶颈:数据库频繁读写,io很快成为瓶颈


数据缓存

方案

数据冷热划分:热点数据如类目、商品基础信息热加载,其他数据延迟加载

ehcache:非分布式,简单,易维护,可用性一般

memcache:性能可靠,纯内存,客户端需要自己实现,无持久化

redis:性能可靠,纯内存,自带分片,集群,哨兵,支持持久化,几乎成为当前的标准方案

特点

缓存策略:缓存与db的边界需要架构师去把控,重度依赖可能引发问题

缓存陷阱:击穿,穿透,雪崩

数据一致性:删除、双写


应用集群

方案

apache:早期负载均衡方案,性能一般

nginx:7层代理,性能强悍,配置简洁,可以携带lua完成前端逻辑,当前不二之选

haproxy:性能没问题,可做7层或4层代理。

lvs:4层代理,性能最强,linux集成,配置麻烦h5:硬件负载,财大气粗的不二选择

特点

session保持:集群环境下,用户登陆及session的保持成为问题,需要分布式session做支撑

分布式协同:分布式环境下对资源的加锁要超出线程锁的范畴,上升为分布式锁

调度问题:调度程序跑重复

机器状态管理:多台应用机的状态检测与替换需要做到及时性

服务升级:滚动升级成为可能

日志管理:日志文件分散在各个机器,促进集中式日志平台的产生


读写分离

方案

缓存集群:redis哨兵,集群,分片,pre-sharding,memcache一致性hash

数据库集群:一主多从、双主单写、灾备 (供销灾备双主单写案例)

特点

数据延迟:准实时,单方法内的写入立即读取问题

开发层面:需要开发框架具备多数据源的支持,以及自动化的数据源切换

数据分片:memcache需要客户端处理,redis支持集群数据分片

单库瓶颈:业务越来越多,表数量越来越多。单库成为瓶颈

数据局限:依然无法解决单表大数据的问题,比如订单积累达到亿级,即使在从库,关联查询依然奇慢无比



分库分表

方案

早期分区表:range,list,hash,key,对开发端透明,但分区数有限制,性能提升有天花板。

业务分库:订单库,产品库,活动库,会员库

横向分表:3个月内订单,半年内订单,更多订单

特点

分库:无法使用数据库事务保证完整性,而分布式事务的效果并不理想,多采用幂等和最终一致性方案。

分表:数据聚合矛盾,以订单为例,下单时间维度的分表和用户维度的查询是一对矛盾。排序统计变得异常困难。

中间件:Sharding-JDBC,Mycat,Atlas



动静分离

方案

静态响应:tomcat对静态文件响应一般,提取静态文件,直接由nginx响应

动态代理:后端api通过代理转发给tomcat应用机器

特点

开发层面调整:项目结构要同步调整,由原来的一体化mvc转换为后端api+前端形式。

前后协调:前后端的分工变得更明确,互相并行开发,独立部署,但也带来了接口协调与约定等沟通问题

单层局限:单个nginx代理在并发处理任务时,依然会有上限,静态文件节点需要面临扩容。


多层代理

方案

多层代理:在nginx前再加一层lvs做代理,作为流量的统一入口,再分发给下层的多个nginx,静态服务得到扩容

特点

机房受限:lvs依然是单一节点,即使keepalived做到高可用,流量仍然需要在唯一入口进入。


跨机房

方案

dns轮询:通过配置多个ip将服务部署到多个机房,通过dns的策略轮询调用,可以实现机房层面的扩容

CDN:就近原则,使用户获得就近的机房访问相关资源,自己投资太大,购买他方需要付费。

特点

基本解决了机器部署的扩容问题,随着业务的发展,数据呈现多样化发展,底层异构化数据成为新的瓶颈。


异构数据

方案

nosql:商品特殊化属性,mongodb,hbase

搜索引擎:商品信息库,lucene,solr,elasticsearch

分布式文件存储:商品图片,上传的文件等,hdfs,fastdfs

特点

开发框架支持:存储的数据多样化,要求开发框架架构层面要提供多样化的支撑,并确保访问易用性

数据运维:多种数据服务器对运维的要求提升,机器的数据维护与灾备工作量加大

数据安全:多种数据存储的权限,授权与访问隔离需要注意


业务线拆分

方案

业务分发:代理层设置不同的二级域名,如b2b.abc.com,b2c.abc.com,分发给不同的服务器

消息互通:服务之间使用mq等异步消息提供通讯。

跨域问题:因为多个业务线占据不同的域名,出现多个主站,单点登录被推上前线

特点

粒度较粗:纯以业务为导向,往往形成业务团队各自为战,新业务线出现时疯狂扩张

重复开发:相同功能可能在不同业务的项目中被重复开发,比如促销、短信发送、收银台


服务化

方案

公共服务:重复开发的基础服务沉淀,形成服务中心,避免重复造轮子,降低成本,架构团队出现。

独立性:各自服务独立部署升级,粒度更细,低耦合,高内聚

SOA:服务治理的范畴,重在服务之间的拆分与统一接口

微服务:可以理解为服务治理的一种手段,趋向于小服务的独立运作与部署。

技术手段:springcloud,dubbo

特点

界限把控:服务的粒度、拆分和公共服务提炼需要架构师的全局把控。设计不好容易引发混乱

部署升级:服务数量增多,自动化部署面临挑战

服务可用性:抽调的微服务因需要被多个上层业务共享,可用性等级变高,一旦down机就是灾难

熔断和限流:做好服务熔断和限流,提防服务单点瓶颈造成整个系统瘫痪


中台化

方案

业务沉淀形成独立的中心,各个中心之间借助服务总线实现业务协作与服务重组。

特点

团队规模:团队规模扩张,人员增多,协调成本上升,组织机构要有配套调整

接口授权:各个中心的接口授权与开发需要把控

接口约束:系统增多,各个服务接口的规范化日益重要,要求有统一的服务接口规范,推动企业消息总线的建设

跨服务令牌:借助oauth2等手段,实现服务之间的权限认证


容器化

针对中台化的建设及微服务数量的飙升,部署和运维支撑同步进行着变革。面临微服务的快速部署,资源的弹性伸缩等挑战,容器化与云被推进

方案

虚拟化:vm方案,Openstack,Vmware,VirtualBox

容器化:docker

编排:swarm,k8s,k3s

云化:容器化解决了资源的快速伸缩,但仍需要企业自备大量预备资源。推动私有云到企业云进化

特点

资源预估:注意资源的回收,降低资源闲置和浪费,例如大促结束后要及时回收。

运维要求:需要运维层面的高度支撑,门槛比较高

预估风险:云瘫痪的故障造成的损失不可估量,(openstack垮掉的事故案例)

你可能感兴趣的:(架构体系演进)