基于 Nginx 的 CDN 基础实现

概览

本文是对基于Nginx的CDN网络的学习笔记，阅读的代码为：https://github.com/leandromoreira/cdn-up-and-running

其中，先确定CDN中的一些基础概念：

• Balancer：负载均衡，即请求数据的流量最开始打到Balancer，由负载均衡算法确定流量导到后续Edge节点，即缓存边缘节点
• Edge：边缘节点，即具有数据缓存，能够更快响应数据给回客户端的节点，在负载均衡和后端服务之间
• Backend：后端节点，即实际存储数据的节点

本文阅读学习的仓库，通过Nginx构建所有节点，用到了以下属性

• vhost_traffic_status：记录并存储每个节点的网络情况，包括处理状态码、处理时间
• proxy_cache：缓存交互处理，包括缓存路径、过期时间、中断处理、缓存键值存储区域（共享内存）
• nginx：使用nginx的基础功能，包括 server、location、proxy_pass、upstream 等
• openresty：配合lua引擎使用的nginx扩展，包括脚本增强、set_by_lua、access_by_lua、balancer_by_lua、content_by_lua 等能力

另外，还是用到 prometheus 作为监控各节点的工具，使用 grafana 作为时间序列数据的可视化工具

实现

Balancer

# vi:syntax=nginx
events {
  worker_connections 1024;
}

error_log stderr;

http {
  resolver 127.0.0.11 ipv6=off;
  include generic_conf/setup_logging.conf;

  include generic_conf/lua_path_setup.conf;

  # 本节点的统计信息，请求时长、status状态等
  include generic_conf/basic_vts_setup.conf;
  # 缓存相关设置
  include generic_conf/setup_cache.conf;

  init_by_lua_block {
    loadbalancer = require "loadbalancer"
    loadbalancer.setup_server_list()
  }

  upstream backend {
    server 0.0.0.1;

    # 进行流量负载均衡，选定 edge 节点
    balancer_by_lua_block {
      loadbalancer.set_proper_server()
    }
    keepalive 60;
  }

  server {
    listen 8080;

    location / {

      # access 阶段解析dns，并获取 edge 列表，后续在本文件的 backend 进行负载均衡
      access_by_lua_block {
        loadbalancer.resolve_name_for_upstream()
      }

      # 代理到本文件的backend，进行负载均衡到 edge 节点
      proxy_pass http://backend;
      add_header X-Edge LoadBalancer;
    }

    # 可通过 /status 接口获取本节点的统计信息
    include generic_conf/basic_vts_location.conf;
  }
}

generic_conf/setup_cache.conf 缓存设置如下：

# /cache/ 指定缓存文件存储目录，levels定义缓存目录结构，key_zone 定义存储缓存的键的共享内存区域
# max_size 为缓存最大大小，inactive表示缓存被视为非活的时间，use_temp_path表示不使用临时路径，用缓存目录
# 最终实现：zone_1 共享内存中，存储缓存的键key与数据对应的路径(/cache/中)，数据则实际缓存到本机 /cache/ 中
proxy_cache_path /cache/ levels=2:2 keys_zone=zone_1:10m max_size=10m inactive=10m use_temp_path=off;
# 多个请求尝试缓存同一资源，在 lock_timeout 时间窗口内只请求backend一次，其余请求等待资源
proxy_cache_lock_timeout 2s;
# 缓存数据过期或backend失效，允许使用过期的缓存数据
proxy_cache_use_stale error timeout updating;
# 请求backend的超时时间，超过则关闭nginx连接
proxy_read_timeout 2s;
# nginx 向客户端发送数据的超时时间，超过则关闭连接
proxy_send_timeout 2s;
# 如果客户端中止连接，nginx 将继续与后端完成数据获取与缓存本地
proxy_ignore_client_abort on;

Edge实现

# vi:syntax=nginx
events {
  worker_connections 1024;
}

error_log stderr;

http {
  resolver 127.0.0.11 ipv6=off;
  include generic_conf/setup_logging.conf;

  include generic_conf/lua_path_setup.conf;

  # 本节点的统计信息，请求时长、status状态等
  include generic_conf/basic_vts_setup.conf;
  # 设置缓存交互策略
  include generic_conf/setup_cache.conf;

  # 数据后端，即从哪获取数据缓存到 edge 节点
  upstream backend {
    server backend:8080;
    server backend1:8080;
    keepalive 10;  # connection pool
  }

  server {
    listen 8080;

    location / {

      # 将参数 cache_key 设置为 uri
      set_by_lua_block $cache_key {
        return ngx.var.uri
      }

      # access 阶段模拟 edge 节点延时
      access_by_lua_block {
        local edge = require "edge"
        edge.simulate_load()
      }

      # 获取实际数据的后端 backend 服务器
      proxy_pass http://backend;
      # edge 节点缓存处理策略，根据 cache_key 参数获取缓存
      include generic_conf/define_cache.conf;
      add_header X-Edge Server;
    }

    # 获取当前节点统计信息的接口
    include generic_conf/basic_vts_location.conf;
  }
}

edge节点具体实现了缓存策略，根据请求uri作为缓存key，划定某个文件路径存储实际数据value，使用共享内存记录key和缓存路径的映射，利用nginx实现缓存功能

generic_conf/define_cache.conf 缓存处理策略实现：

# 启用名为 zone_1 的共享缓存区域，来存储和检索缓存键key和实际数据的路径映射
proxy_cache zone_1;
# 设置缓存的键为 cache_key 变量
proxy_cache_key $cache_key;
# 启用缓存锁定。当多个请求同时尝试获取同一资源时，只有一个请求会去后端服务器获取数据，其他请求将等待该请求完成
proxy_cache_lock on;
# 设置与后端服务器的 HTTP 协议版本为 1.1，这通常用于启用持久连接
proxy_http_version 1.1;
# 清空 Connection 头
proxy_set_header Connection "";
# 启用代理缓冲。这意味着 Nginx 会在发送响应给客户端之前，先将后端服务器的响应全部接收并缓冲
proxy_buffering on;
# 设置用于缓冲响应的缓冲区数量和大小
proxy_buffers 16 16k;
# 添加一个参数到Header，表示是否命中缓存、正在更新
add_header X-Cache-Status $upstream_cache_status;

Backend

# vi:syntax=nginx
events {
  worker_connections 1024;
}

error_log stderr;

http {
  include generic_conf/setup_logging.conf;
  include generic_conf/lua_path_setup.conf;

  # 本节点的统计信息，请求时长、status状态等
  include generic_conf/basic_vts_setup.conf;

  server {
    listen 8080;

    location / {

      # 获取数据，模拟延时并返回数据、过期时间、数据键key
      content_by_lua_block {
        local backend = require "backend"
        backend.generate_content()
      }
    }

    # 可通过 /status 接口获取本节点的统计信息
    include generic_conf/basic_vts_location.conf;
  }
}

backend.generate_content() 后端节点的具体实现：

local simulations = require "simulations"
local backend = {}

backend.generate_content = function()
  -- 模拟 backend 节点延时
   simulations.for_work_longtail(simulations.profiles.backend)

  -- 返回数据头，根据 max_age 参数设置过期时间
  ngx.header['Content-Type'] = 'application/json'
  ngx.header['Cache-Control'] = 'public, max-age=' .. (ngx.var.arg_max_age or 10)

  -- 返回数据，记录了 key，即请求 uri
  ngx.say('{"service": "api", "value": 42, "request": "' .. ngx.var.uri .. '"}')
end

return backend

总结

利用Nginx特性实现简易CDN模型，简明概要了CND各个重要模块的主要功能