【Lars教程目录】
Lars源代码
https://github.com/aceld/Lars
【Lars系统概述】
第1章-概述
第2章-项目目录构建
【Lars系统之Reactor模型服务器框架模块】
第1章-项目结构与V0.1雏形
第2章-内存管理与Buffer封装
第3章-事件触发EventLoop
第4章-链接与消息封装
第5章-Client客户端模型
第6章-连接管理及限制
第7章-消息业务路由分发机制
第8章-链接创建/销毁Hook机制
第9章-消息任务队列与线程池
第10章-配置文件读写功能
第11章-udp服务与客户端
第12章-数据传输协议protocol buffer
第13章-QPS性能测试
第14章-异步消息任务机制
第15章-链接属性设置功能
【Lars系统之DNSService模块】
第1章-Lars-dns简介
第2章-数据库创建
第3章-项目目录结构及环境构建
第4章-Route结构的定义
第5章-获取Route信息
第6章-Route订阅模式
第7章-Backend Thread实时监控
【Lars系统之Report Service模块】
第1章-项目概述-数据表及proto3协议定义
第2章-获取report上报数据
第3章-存储线程池及消息队列
【Lars系统之LoadBalance Agent模块】
第1章-项目概述及构建
第2章-主模块业务结构搭建
第3章-Report与Dns Client设计与实现
第4章-负载均衡模块基础设计
第5章-负载均衡获取Host主机信息API
第6章-负载均衡上报Host主机信息API
第7章-过期窗口清理与过载超时(V0.5)
第8章-定期拉取最新路由信息(V0.6)
第9章-负载均衡获取Route信息API(0.7)
第10章-API初始化接口(V0.8)
第11章-Lars Agent性能测试工具
第12章- Lars启动工具脚本
8) 过期窗口清理与过载超时(V0.5)
本节为idle过期窗口清理与overload过载超时机制。
假设节点h长期处于idle，已经累计vsucc = 100000, err = 0；此时突然h过载，API调用产生了大量的错误，假设汇报了500个失败，于是verr = 500，此时节点的失败率0.5%，尚未被判定为过载；且因为之前长期运行的成功个数太多，使得需要更多的错误汇报才会让LB感知到h过载
将idle节点每隔一定时间（默认15s）重置为idle初始状态（vsucc = 270, verr = 0）
于是将节点的运行情况按照15s分隔，我们永远只关注当前15s内此节点的状态，于是过载的节点将会被更快感知.
首先，我们在配置文件中加入一些参数。
lars_loadbalance_agent/conf/lars_lb_agent.conf
;整个窗口的真实失败率阈值
window_err_rate=0.7
;对于某个modid/cmdid下的某个idle状态的host，需要清理一次负载信息的周期
idle_timeout=15
;对于某个modid/cmdid/下的某个overload状态的host，在过载队列等待的最大时间
overload_timeout=15
我们在配置文件加载的时候，将这几个参数一并加载。
lars_loadbalance_agent/include/main_server.h
#pragma once
#include "lars_reactor.h"
#include "lars.pb.h"
#include "route_lb.h"
struct load_balance_config
{
//经过若干次获取请求host节点后，试探选择一次overload过载节点
int probe_num;
//初始化host_info主机信息访问成功的个数，防止刚启动时少量失败就认为过载
int init_succ_cnt;
//当idle节点切换至over_load时的初始化失败次数，主要为了累计一定成功次数才能切换会idle
int init_err_cnt;
//当idle节点失败率高于此值，节点变overload状态
float err_rate;
//当overload节点成功率高于此值，节点变成idle状态
float succ_rate;
//当idle节点连续失败次数超过此值，节点变成overload状态
int contin_err_limit;
//当overload节点连续成功次数超过此值, 节点变成idle状态
int contin_succ_limit;
//当前agent本地ip地址(用于上报 填充caller字段)
uint32_t local_ip;
// *************************************
//整个窗口的真实失败率阈值
float window_err_rate;
//对于某个modid/cmdid下的某个idle状态的host，需要清理一次负载信息的周期
int idle_timeout;
//对于某个modid/cmdid/下的某个overload状态的host，在过载队列等待的最大时间
int overload_timeout;
};
// *************************************
lars_loadbalance_agent/src/main_server.cpp
static void init_lb_agent()
{
//1. 加载配置文件
config_file::setPath("./conf/lars_lb_agent.conf");
lb_config.probe_num = config_file::instance()->GetNumber("loadbalance", "probe_num", 10);
lb_config.init_succ_cnt = config_file::instance()->GetNumber("loadbalance", "init_succ_cnt", 180);
lb_config.init_err_cnt = config_file::instance()->GetNumber("loadbalance", "init_err_cnt", 5);
lb_config.err_rate = config_file::instance()->GetFloat("loadbalance", "err_rate", 0.1);
lb_config.succ_rate = config_file::instance()->GetFloat("loadbalance", "succ_rate", 0.92);
lb_config.contin_succ_limit = config_file::instance()->GetNumber("loadbalance", "contin_succ_limit", 10);
lb_config.contin_err_limit = config_file::instance()->GetNumber("loadbalance", "contin_err_limit", 10);
//*******************************************
lb_config.window_err_rate = config_file::instance()->GetFloat("loadbalance", "window_err_rate", 0.7);
lb_config.idle_timeout = config_file::instance()->GetNumber("loadbalance", "idle_timeout", 15);
lb_config.overload_timeout = config_file::instance()->GetNumber("loadbalance", "overload_timeout", 15);
//*******************************************
//2. 初始化3个route_lb模块
create_route_lb();
//3. 加载本地ip
char my_host_name[1024];
if (gethostname(my_host_name, 1024) == 0) {
struct hostent *hd = gethostbyname(my_host_name);
if (hd)
{
struct sockaddr_in myaddr;
myaddr.sin_addr = *(struct in_addr*)hd->h_addr;
lb_config.local_ip = ntohl(myaddr.sin_addr.s_addr);
}
}
if (!lb_config.local_ip) {
struct in_addr inaddr;
inet_aton("127.0.0.1", &inaddr);
lb_config.local_ip = ntohl(inaddr.s_addr);
}
}
接下来我们要在load_balance进行report()的时候，之后可以触发判定
lars_loadbalance_agent/src/load_balance.cpp
//上报当前host主机调用情况给远端repoter service
void load_balance::report(int ip, int port, int retcode)
{
//定义当前时间
long current_time = time(NULL);
//...
//...
// 窗口检查和超时机制
if (hi->overload == false) {
//节点是idle状态
if (current_time - hi->idle_ts >= lb_config.idle_timeout) {
//时间窗口到达，需要对idle节点清理负载均衡数据
if (hi->check_window() == true) {
//将此节点 设置为过载
struct in_addr saddr;
saddr.s_addr = htonl(hi->ip);
printf("[%d, %d] host %s:%d change to overload cause windows err rate too high, read succ %u, real err %u\n",
_modid, _cmdid, inet_ntoa(saddr), hi->port, hi->rsucc, hi->rerr);
//设置为overload状态
hi->set_overload();
//移出_idle_list,放入_overload_list
_idle_list.remove(hi);
_overload_list.push_back(hi);
}
else {
//重置窗口,回复负载默认信息
hi->set_idle();
}
}
}
else {
//节点为overload状态
//那么处于overload的状态时间是否已经超时
if (current_time - hi->overload_ts >= lb_config.overload_timeout) {
struct in_addr saddr;
saddr.s_addr = htonl(hi->ip);
printf("[%d, %d] host %s:%d reset to idle, vsucc %u, verr %u\n",
_modid, _cmdid, inet_ntoa(saddr), hi->port, hi->vsucc, hi->verr);
hi->set_idle();
//移出overload_list, 放入_idle_list
_overload_list.remove(hi);
_idle_list.push_back(hi);
}
}
}
每次report之前都会记录一个当前时间，那么如果当前时间超过一定时间，idle和overload节点都会进行一次判定。
idle
-
如果当前时间超过idle的判定时间周期，需要坚持是否触发窗口条件
check_windows()lars_loadbalance_agent/src/host_info.cpp
#include "host_info.h" #include "main_server.h" void host_info::set_idle() { vsucc = lb_config.init_succ_cnt; verr = 0; rsucc = 0; rerr = 0; contin_succ = 0; contin_err = 0; overload = false; //********************* idle_ts = time(NULL);//设置判定为idle状态的时刻,也是重置窗口时间 //********************* } void host_info::set_overload() { vsucc = 0; verr = lb_config.init_err_cnt;//overload的初试虚拟err错误次数 rsucc = 0; rerr = 0; contin_err = 0; contin_succ = 0; overload = true; //********************* overload_ts = time(NULL);//设置判定为overload的时刻 //********************* } //********************* //计算整个窗口内的真实失败率，如果达到连续失败窗口值则返回true，代表需要调整状态 bool host_info::check_window() { if (rsucc + rerr == 0) { return false; //分母不能为0 } if (rerr * 1.0 / (rsucc + rerr) >= lb_config.window_err_rate) { return true; } return false; } //*********************
如果idle节点超过窗口的错误率判断，那么需要更改idle状态为overload
将idle从
idle_list摘掉，放在overload_list中。
overload
如果overload节点超过指定时间，那么需要将overload节点切换为idle，重新放回idle_list中。
关于作者：
作者：Aceld(刘丹冰)
mail: [email protected]
github: https://github.com/aceld
原创书籍gitbook: http://legacy.gitbook.com/@aceld
原创声明:未经作者允许请勿转载, 如果转载请注明出处