CDN Web Cache 原理及代理方式

CDN出现之前的网站服务技术

• Scale up/Scale out
  Scale up:提升服务器硬件配置，无效解决远距离传输的质量问题，需要对整个系统进行硬件升级，灵活性和可扩展性差。
  Scale out：服务器集群

• Mirroring
  镜像通常用来备份，应用于镜像网站，对整个网站中的内容进行镜像复制，进行多点部署。用户在访问网站时，自主选择速度快的站点，降低主站的负载。
  实现方法：镜像服务器安装可以自动远程备份的软件，间隔一定时间，会向源服务器获取最新内容。
  优：对主站用户分流，应急备份
  劣：用户选择具有盲目性，不能时刻起到就近服务；成本较高，对于源站完全复制。

• 缓存技术 CDN技术就是缓存技术的分布式实现
  把访问过的媒体数据进行存储，重复使用。
  分层缓存部署：在不同物理层部署多台缓存服务器，上层缓存作为下层缓存的内容存储器，为下层缓存供应所需内容。向用户提供服务的下层缓存向上层缓存服务器提供所需内容，而不是从源站请求。
  优：用户获得内容的时间短，分担主站压力

Cache 设备原理及代理

Cache设备分为Web-cache和流媒体Cache两类。
Web-cache用于普通网页的内容缓存，也提供一定的流媒体、下载支持。
流媒体Cache用于对视频流媒体进行加速，功能单一。
在一次网页访问的过程中，通常是这样的：用户->代理->网关->web服务器。Web-cache设备通常部署在这条访问的路径上，通过正向代理、透明代理的模式，应用最多的地方在网关上。
代理相关软件推荐：squid(开源)，nginx(开源)，
(内网安全行为审计也是基于此原理，主要指的是透明代理)

• 正向代理(Forward proxy)

用户需要自行设置代理地址为Web-cache服务器地址，用户对互联网的网络访问全部通过这个代理地址访问。正向代理支持冗余配置，保证系统的稳定性。(通常提到代理，默认指正向代理)

User	proxy device	web server
[src:user ]	[src:user ]	[src:proxy device ]
[dst:proxy ]	[dst:gateway ]	[dst:local ]
[req:www.baidu.com]	[req:www.baidu.com]	[res:index.html]

动态描述：User配置好代理设备IP并发起网络访问后，所有的数据流量都会经过Proxy device的审核，检测代理缓存是否含有User所需的数据，如有直接返回相应数据，若无，则向serverIp获取信息，并由proxy device返回给User。

• 正向代理的应用

  1. User无法直接访问web server，需要使用proxy，“Over Wall”就是这个道理

  2. 加速访问web server,一些游戏加速器就是这个道理

  3. 内网用户鉴权，就是上文提到的内网行为审计

  4. 保护访问路径，通过proxy做跳板访问web server不显示User所在ip，“”肉鸡”就是这个道理

  5. Cache缓存设备，细节同动态描述

• 反向代理(Backward proxy)

反向代理无需User设置，反向代理中的Cache device 地址作为被访问站点的服务器地址，写入了DNS列表，用户无法感知，对于用户透明。区别于正向代理的地方是反向代理仅能对特定站点进行加速，内容分发。多用ISP/ICP和运营商环境，增加User访问速度和提高满意度。当网络中Cache设备数目较多时，需要引入GSLB设定内容分发策略，对全网Cache节点进行负载均衡，

User	DNS server	proxy	web server
src:local	src:local
dst:DNS server	dst:usr
req:who's www.baidu.com	res:proxy address
----	----------	-----	---------
src:local		src:user
dst:proxy		dst:"web server"or local
req:Get index.html		res:index.html

特点：主站服务器只与代理cache设备内容交换，不与User直接通信。cache设备的作用是提供负载分担，安全隔离。对于CDN技术来说，智能DNS也是很关键的技术。

• 透明代理(Transparent proxy)

User无需配置代理，cache设备为指定用户服务有两种办法：a.user路由设备支持WCCP协议，会将指定用户流量转发至cache设备。b.利用四层交换机对指定用户进行流量转发。

User	proxy	web server
src:local	src:User	src:gateway
dst:web server	dst:web server	dst:local
req:Get index.html	req:Get index.html	res:index.html

特点：User无察觉代理审计，直接对数据包进行修改，可对用户鉴权，再决定是否回应相关数据包给user。(透明代理可以截获用户数据，完成安全认证及访问控制)

• web cache 实现关键

• Web-cache 相当于中间人，原本一次点对点的http请求，可能变成多次http请求，实现HTTP协议能力和缓存工作。
• 根据不同应用场景来确立相应策略，主要针对性能和业务。可以从以下方面考虑：
  并发连接数量、并发流量大小、存储空间大小、cpu处理性能及缓存大小；
  web cache对数据的分析、过滤和安全保障。
• 面向运营商的Web-cache要求比面向web站的要高很多。

原文: http://www.chieh.cc/posts/tech/2016-04-19-2016-04-19-Web-Cache-原理及代理方式.html　　作者: Chieh