大型网站系统架构演化（Web）

大型网站系统架构演化

需要关注的维度

高性能、高可用、可维护、应变、安全

涉及的技术

维度	涉及技术内容
架构	MVC，MVP，MVVM，REST，Webservice，微服务
并发分流	集群（负载均衡）、CDN
缓存	MemCache，redis，Squid
数据	主从库（主从复制），内存数据库，反规范化技术，NoSQL，分区分表技术，视图与物理化视图
持久化	HIbernate，Mybatis
分布存储	Hadoop，FastDFS，区块链
数据编码	XML，JSON
Web应用服务器	Apache，WebSphere，WebLogic，Tomcat，JBOSS，IIS
安全性	SQL注入攻击
其他	静态化，有状态与无状态，响应式Web设计，中台

演进过程

单体架构

垂直架构

使用缓存改善网站性能

缓存与数据库的数据一致性问题

数据库与缓存数据是否有可能不一致？如何解决？
有可能不一致。
大体思想如下：先写入数据库、再更新缓存

缓存技术对比

工作	MemCache	Redis
数据类型	简单key/value结构	丰富的数据结构
持久性	不支持	支持
分布式存储	客户端哈希分片/一致性哈希	多种方式，主从、Sentinel、Cluster等
多线程支持	支持	支持 （Redis5.0之前不支持）
内存管理	私有内存池/内存池	无
事务支持	不支持	有限支持
数据容灾	不支持，不能做数据恢复	支持，可以在灾难发生时，恢复数据

Redis分布式存储方案

分布式存储方案	核心特点
主从模式	一主多从，故障时手动切换
哨兵模式	有哨兵的一主多从，主节点故障自动选择新的主节点
集群模式	分节点对等集群，分slots，不同slots的信息存储到不同节点

Redis集群切片的常见方式

集群切片方式	核心特点
客户端分片	在客户端通过key的hash值对应到不同的服务器
中间件实现分片	在应用软件和Redis中间，例如：Twemproxy、Codis等，由中间件实现服务到后台Redis节点的路由分派
客户端服务端协作分片	Redis Cluster模式，客户端可采用一致性哈希，服务端提供错误节点的重定向服务solt上。不同的solt对应到不同服务

Redis数据类型

类型	特点	示例
String（字符串）	存储二进制，，最大512M	缓存，计数，共享Session
Hash（字典）	无序字典，数组+链表，适合存对象。Key对应一个HashMap。针对一组数据	存储、读取、修改用户属性
List（列表）	Linked List：双向链表，有序，增删快，查询慢；Array List：数组方式，有序，增删慢，查询快
消息队列，文章列表，记录前N个最新登录的用户ID列表
Set（集合）	键值对无序，唯一。增删查复杂度均为O(1),支持交/并/差集操作	独立IP，共同爱好，标签
Sorted Set【ZSet】（有序集合）	键值对有序，唯一，自带按权重排序效果	排行榜

Redis 淘汰算法

淘汰作用范围	机制名	策略