读书笔记 大型网站技术架构:核心原理与案例分析

文章目录

  • 大型网站架构演化
  • 大型网站架构模式
    • 网站架构模式
    • 架构模式在新浪微博的应用
  • 瞬时响应:网站的高性能架构
    • web前端性能优化
    • 应用服务器性能优化
    • 存储性能优化
  • 永无止境:网站的伸缩性架构
    • 应用服务器集群的伸缩性设计
  • 固若金汤:网站的安全架构
    • 网站应用攻击与防御
    • 信息加密技术及密钥安全管理
    • 信息过滤与反垃圾
  • 网购秒杀系统架构设计案例分析
    • 秒杀系统的应对策略
    • 秒杀系统架构设计
      • 如何控制秒杀商品页面购买按钮的点亮
      • 如何只允许第一个提交的订单呗发送到订单子系统

大型网站架构演化

  • 应用服务和数据服务分离
  • 使用缓存改善网站性能
  • 使用应用服务器集群改善网站的并发处理能力
  • 数据库读写分离
  • 使用反向代理和CDN加速网站响应
  • 使用分布式文件系统和分布式数据库系统
  • 使用NoSQL和搜索引擎
  • 业务拆分
  • 分布式服务

大型网站架构模式

网站架构模式

  • 分层
    • 应用层:负责具体业务和视图展示,如网站首页及搜索输入和结果展示
    • 服务层:为应用层提供服务支持,如用户管理服务,购物车服务等
    • 数据层:提供数据存储访问服务,如数据库、缓存、文件、搜索引擎等
  • 分割业务
  • 分布式
  • 集群
  • 缓存
    • CDN
    • 反向代理
    • 本地缓存
    • 分布式缓存
  • 异步
  • 冗余 备份
  • 自动化
  • 安全

架构模式在新浪微博的应用

新浪微博采用异步推拉结合的模式,用户发表微博后系统将微博写入消息队列后立即返回,用户响应迅速,消息队列消费者任务将微博推送给所有当前在线粉丝的订阅列表中,非在线用户登录后再根据关注列表拉取微博订阅列表。

瞬时响应:网站的高性能架构

web前端性能优化

  • 浏览器访问优化
    • 减少http请求,主要手段是合并css合并JavaScript、合并图片。将浏览器一次访问需要的JavaScript、css合成一个文件,这样浏览器就只需要一次请求。
    • 使用浏览器缓存,通过设置HTTP头中Cache-Control和Expires的属性,可设定浏览器缓存。
    • 启用压缩
    • CSS放在页面最上面,Javascript放在页面最下面
    • 减少Cookie传输
  • CDN加速
    • CDN的本质仍然是一个缓存,而且将数据缓存再离用户最近的地方
  • 反向代理

应用服务器性能优化

  • 分布式缓存
    • Memcached
  • 异步操作
    • 消息队列
  • 使用集群
    • 负载均衡
  • 代码优化
    • 多线程,使用多线程的原因主要有两个:IO阻塞与多CPU,利用多线程IO阻塞与执行交替进行,可最大限度地利用CPU资源。多核cpu启动多线程。
  • 资源复用
    • 系统运行时,要尽量减少那些开销很大的系统资源的创建和销毁,比如数据库连接、网络通信连接、线程、复杂对象等。从编程角度,资源复用主要有两种模式:单例和对象池。
  • 数据结构
  • 垃圾回收

存储性能优化

  • B+树和LSM树
  • RAID和HDFS

永无止境:网站的伸缩性架构

应用服务器集群的伸缩性设计

  • HTTP重定向负载均衡
  • DNS域名解析负载均衡
  • 反向代理负载均衡
  • IP负载均衡
  • 数据链路层负载均衡
  • 负载均衡算法
    • 轮询
    • 加权轮询
    • 随机
    • 最少连接
    • 源地址散列

固若金汤:网站的安全架构

网站应用攻击与防御

  • XSS攻击
  • 注入攻击
  • CSRF攻击
  • 其他攻击和漏洞
  • Web应用防火墙
  • 网站安全漏洞扫描

信息加密技术及密钥安全管理

  • 单向散列加密
  • 对称加密
  • 非对称加密
  • 密钥安全管理

信息过滤与反垃圾

  • 文本匹配
    • Trie树的变种、双数组Trie算法
    • 多级Hash表
  • 分类算法
  • 黑名单
    • 布隆过滤器

网购秒杀系统架构设计案例分析

秒杀系统的应对策略

  • 秒杀系统独立部署
  • 秒杀商品页面静态化
  • 租借秒杀活动网络带宽
  • 动态生成随机下单页面URL
    • 为了避免用户直接访问下单页面URL,需要将该URL动态化,即使秒杀系统的开发者也无法在秒杀开始钱访问下单页面的URL。

秒杀系统架构设计

秒杀系统的页面设计应尽可能简单,购买按钮只有在活动开始的时候才变亮,下单表单也尽可能简单,购买数量只能是一个且不可以修改。

如何控制秒杀商品页面购买按钮的点亮

购买按钮只有在秒杀活动开始的时候才能点亮,在此之前是灰色。如果该页面是动态生成的,当然可以在服务端构造响应页面输出,控制该按钮是灰色还是点亮,但是为了减轻服务端负载压力,更好地利用CDN、反向代理等性能优化手段,该页面被设计为静态页面,缓存在CDN、反向代理服务器上,甚至用户浏览器上。秒杀开始时,用户刷新页面,请求根本不会到达应用服务器。

解决办法是使用Javascript脚本控制,在秒杀商品静态页面中加入一个JavaScript文件引用,该JavaScript文件中加入秒杀是否开始的标志和下单页面URL的随机数参数,当秒杀开始的时候生成一个新的JavaScript文件并被用户浏览器加载,控制秒杀商品页面的展示。这个JavaScript文件使用随机版本号,并且不被浏览器、CDN和反向代理服务器缓存。

如何只允许第一个提交的订单呗发送到订单子系统

由于最终能够成功秒杀到商品的用户只有一个,因此需要在用户提交订单时,检查是否已经有订单提交。事实上,由于最终能够成狗提交订单的用户只有一个,为了减轻下单页面服务器的负载压力,可以控制进入下单页面的入口,只有少数用户能进入下单页面,其他用户直接进入秒杀结束页面。

你可能感兴趣的:(其他)