大型网站技术架构小结

初创公司技术架构推荐

演化历程

图例可参考 大型网站架构演化历程：

演化的价值观

• 大型网站架构的核心价值是随网站所需灵活应对

• 驱动大型网站技术发展的主要力量是网站的业务发展

误区

• 一味追随大公司的解决方案

• 为了技术而技术

• 企图用技术解决所有问题

架构模式

模式的关键在于模式的可重复性

• 分层：横向切分

• 分割：纵向切分

• 分布式：分层和分割的主要目的是为了切分后的模块便于分布式部署。常用方案：

  • 分布式应用和服务

  • 分布式静态资源

  • 分布式数据和存储

  • 分布式计算

  • 分布式配置，分布式锁，分布式文件，等等

• 集群：多台服务器部署相同的应用构成一个集群，通过负载均衡设备共同对外提供服务

• 缓存：将数据放距离计算最近的位置加快处理速度，改善性能第一手段，可以加快访问速度，减小后端负载压力。使用缓存 两个前提条件 ：1.数据访问热点不均衡；2.数据某时段内有效，不会很快过期

  • CDN

  • 反向代理

  • 本地缓存

  • 分布式缓存

  • 

核心要素

架构是“最高层次的规划，难以改变的规定”。主要关注五个要素：

• 性能

• 可用性(Availability)

• 伸缩性(Scalability)

• 扩展性(Extensibility)

• 安全性

性能测试方法：

• 性能测试

• 负载测试

• 压力测试

• 稳定性测试

性能优化,根据网站分层架构，可以分为三大类：

• Web 前端性能优化

  • 保护网站安全

  • 通过配置缓存功能加速 Web 请求

  • 实现负载均衡

  • 减少 http 请求

  • 使用浏览器缓存

  • 启用压缩

  • CSS 放在页面最上面，JavaScript 放在页面最下面

  • 减少 Cookie 传输

  • 浏览器访问优化

  • CDN 加速：本质是一个缓存，一般缓存静态资源

  • 反向代理

• 应用服务器性能优化：主要手段有 缓存、集群、异步

  • 多线程(设计为无状态，使用局部对象，并发访问资源使用锁)

  • 资源复用(单例，对象池)

  • 数据结构

  • 垃圾回收

  • 分布式缓存(网站性能优化第一定律：优化考虑使用缓存优化性能)

  • 异步操作(消息队列，削峰作用)

  • 使用集群

  • 代码优化

• 存储服务器性能优化

  • 机械硬盘 vs. 固态硬盘

  • B+ 树 vs. LSM 树

  • RAID vs. HDFS

高可用

• 高可用的网站架构：目的是保证服务器硬件故障时服务依然可用、数据依然保存并能够被访问，主要手段数据和服务的冗余备份及失效转移

• 高可用的应用：显著特点是应用的无状态性

  • Session 复制

  • Session 绑定

  • 利用 Cookie 记录 Session

  • Session 服务器

  • 通过负载均衡进行无状态服务的失效转移

  • 应用服务器集群的 Session 管理

• 高可用的服务：无状态的服务，可使用类似负载均衡的失效转移策略，此外还有如下策略

  • 分级管理

  • 超时设置

  • 异步调用

  • 服务降级

  • 幂等性设计

• 高可用的数据：主要手段是数据备份和失效转移机制

  • 失效确认

  • 访问转移

  • 数据恢复

  • 冷备：缺点是不能保证数据最终一致和数据可用性

  • 热备：分为异步热备和同步热备

  • 数据一致性(Consisitency)

  • 数据可用性(Availibility)

  • 分区耐受性(Partition Tolerance)

  • CAP 原理

  • 数据备份

  • 失效转移：由以下三部分组成

• 高可用网站的软件质量保证

  • 主干开发、分支发布

  • 分支开发、主干发布

  • 网站发布

  • 自动化测试

  • 预发布验证

  • 代码控制

  • 自动化发布

  • 灰度发布

• 网站运行监控

  • 警报系统

  • 失效转移

  • 自动优雅降级

  • 用户行为日志采集（服务器端和客户端）

  • 服务器性能监控

  • 运行数据报告

  • 监控数据采集

  • 监控管理

伸缩性

大型网站的“大型”是指：

• 用户层面：大量用户及大量访问

• 功能方面：功能庞杂，产品众多

• 技术层面：网站需要部署大量的服务器

伸缩性的分为如下几个方面

• 网站架构的伸缩性设计

  • 纵向分离(分层后分离)

  • 横向分离(业务分割后分离)

  • 不同功能进行物理分离实现伸缩

  • 单一功能通过集群规模实现伸缩

• 应用服务器集群的伸缩性设计

  • 轮询(Round Robin, RR)

  • 加权轮询(Weighted Round Robin, WRR)

  • 随机(Random)

  • 最少链接(Least Connections)

  • 源地址散列(Source Hashing)

  • HTTP 重定向负载均衡

  • DNS 域名解析负载均衡

  • 反向代理负载均衡(在 HTTP 协议层面，应用层负载均衡)

  • IP 负载均衡(在内核进程完成数据分发)

  • 数据链路层负载均衡(数据链路层修改 mac 地址，三角传输模式，LVS)

  • 负载均衡算法

• 分布式缓存集群的伸缩性设计

  • Memcached 客户端（包括 API，路由算法，服务器列表，通信模块）

  • Memcached 服务器集群

  • Memcached 分布式缓存集群的访问模型

  • Memcached 分布式缓存集群的伸缩性挑战

  • 分布式缓存的一致性 Hash 算法(一致性 Hash 环，虚拟层)

• 数据存储服务集群的伸缩性设计

  • 关系数据库集群的伸缩性设计

  • NoSQL 数据库的伸缩性设计

可扩展

系统架构设计层面的“开闭原则”

• 构建可扩展的网站架构

• 利用分布式消息队列降低耦合性

  • 事件驱动架构(Event Driven Architecture)

  • 分布式消息队列

• 利用分布式服务打造可复用的业务平台

  • Web Service 与企业级分布式服务

  • 大型网站分布式服务的特点

  • 分布式服务框架设计(Thrift, Dubbo)

• 可扩展的数据结构(如 ColumnFamily 设计)

• 利用开放平台建设网站生态圈

安全

XSS 攻击和 SQL 注入攻击是构成网站应用攻击最主要的两种手段，此外还包括 CSRF,Session 劫持等手段。

• 攻击与防御

  • Error Code

  • HTML 注释

  • 文件上传

  • 路径遍历

  • 表单 Token

  • 验证码

  • Referer Check

  • 避免被猜到数据库表结构信息

  • 消毒

  • 参数绑定

  • SQL 注入攻击

  • OS 注入攻击

  • 消毒(即对某些 html 危险字符转义)

  • HttpOnly

  • 反射型

  • 持久型

  • XSS 攻击：跨站点脚本攻击（Cross Site Script）

  • XSS 防御手段

  • 注入攻击

  • 注入防御

  • CSRF 攻击：跨站点请求伪造（Cross Site  Request Forgery）

  • CSRF 防御：主要手段是识别请求者身份

  • 其他攻击和漏洞

  • Web 应用防火墙（ModSecurity）

  • 网站安全漏洞扫描

    
    

  • 

• 信息过滤与反垃圾

  • 文本匹配

  • 分类算法

  • 黑名单

看完本文有收获？请分享给更多人

欢迎关注“互联网架构师”，我们分享最有价值的互联网技术干货文章，助力您成为有思想的全栈架构师，我们只聊互联网、只聊架构，不聊其他！打造最有价值的架构师圈子和社区。

本公众号覆盖中国主要首席架构师、高级架构师、CTO、技术总监、技术负责人等人 群。分享最有价值的架构思想和内容。打造中国互联网圈最有价值的架构师圈子。

• 长按下方的二维码可以快速关注我们

• 

  如想加群讨论学习，请点击右下角的“加群学习”菜单入群