E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
dpvs
DPVS
多活部署架构部署
一、目标利用
DPVS
部署一个基于OSPF/ECMP的提供HTTP服务的多活高可用的测试环境。本次部署仅用于验证功能,不提供性能验证。
码农心语
·
2024-02-03 06:13
高性能
架构
dpvs
多活集群
部署
高性能
DPVS
-FullNAT模式管理篇
本文主要介绍基于CentOS7.9系统部署
DPVS
的FullNAT模式的各种部署方式和配置管理,包括IPv4-IPv4、bonding、IPv6-IPv6、IPv6-IPv4(NAT64)和keepalived
tinychen
·
2023-12-22 23:47
c语言arp路由链表,
dpvs
学习笔记: 9 arp和路由
相对于传统网卡,net_dev在内核层,而
dpvs
在用户层抽像了一个网卡。所以相应的,arp和路由也要有,又因为是dpdk程序,每个核尽可能不和其它核交互,所以就需要在核之间广播,这是大前提。
weixin_39631899
·
2023-11-28 11:25
c语言arp路由链表
DPVS
-FullNAT模式部署篇
本文主要介绍在CentOS7.9系统上部署
DPVS
的FullNAT模式和在RealServer上安装toa模块获取客户端的真实IP。
tinychen
·
2023-11-23 14:07
dpdk入门实践6——L2fwd二层通信和l3fwd三层通信
也就是说需要用户实现相关通信网络协议实现相关数据包的转发(有些协议栈不转发ICMP报文那就Ping不通),例如腾讯的fstack,爱奇艺的
DPVS
等。这里仅以简单的2层和3层通信实例。
lingshengxiyou
·
2023-11-18 20:01
DPDK
linux
c++
linux
网络
网络编程
开发语言
虚拟机
dpdk/spdk/网络协议栈/存储/网关开发/网络安全/虚拟化/ 0vS/TRex/
dpvs
技术专家成长体系教程
课程围绕安全,网络,存储,云原生4个维度去讲解核心技术点。6个专栏组成:dpdk网络专栏、存储技术专栏、安全与网关开发专栏、虚拟化与云原生专栏、测试工具专栏、性能测试专栏一、dpdk网络dpdk基础知识多队列网卡,vmxnet/e1000igb_uio与vfio模块kni模块hugepage的理解零拷贝dpdk与netmap区别dpdk的工作环境网络协议栈dpdk-arp.netsh静态arp表设
攻城狮百里
·
2023-10-14 18:21
DPDK
网络协议
网络
DPVS
-FullNAT模式keepalived篇
本文主要介绍基于CentOS7.9系统部署
DPVS
的FullNAT模式在使用keepalived进行主备模式配置高可用集群在线上生产环境落地实践时遇到的一些问题和处理的思路。
tinychen
·
2023-09-13 07:32
Android ARP
内核学习笔记------ARP:地址解析协议ARP报文抓包解析学习ARP协议具体解释之GratuitousARP(免费ARP)arping命令解析Linux邻居协议学习笔记之七arp数据包处理流程高性能负载均衡
DPVS
greatwgb
·
2023-09-08 07:51
网络协议
武汉之行--2020/9/3-2020/09/06
2020/9/3-2020/9/6四天的武汉训练营结营之行马上就结束了,利用三周的时间完成的
DPVS
项目也顺利汇报答疑,这次项目虽然还有很多不足,但是也算给自己有了个交代,毕竟从头到尾的所有任务都积极参与其中
较劲儿
·
2023-08-05 13:42
dpvs
学习笔记: 1 初探
提起负载均衡设备,程序员基本都打过交道。硬件的比如F5、netscaler,以前在赶集网就用netscaler,后来过保也没续...软件的有lvs、haproxy,当然了七层的nginx也算。关于转发模式也知道一些dr、nat、tunnel等等,轮循的算法有rr、wrr、wlc等等。但是内部原理除了网络同学,大部分同学只是简单的使用,借着这次调研dpdk机会,读读源码,一勺烩了。背景现代互联网流量
董泽润
·
2023-04-16 03:25
dpvs
学习笔记: 9 arp和路由
相对于传统网卡,net_dev在内核层,而
dpvs
在用户层抽像了一个网卡。所以相应的,arp和路由也要有,又因为是dpdk程序,每个核尽可能不和其它核交互,所以就需要在核之间广播,这是大前提。
董泽润
·
2023-04-10 12:53
dpdk/spdk/网络协议栈/存储/网关开发/网络安全/虚拟化/ 0vS/TRex/
dpvs
技术成长体系
作为近年来运用越来越广泛,被互联网企业越来越认可的技术,网络虚拟化技术:dpdk/spdk/网络协议栈/存储/网关开发/网络安全/虚拟化/0vS/TRex/
dpvs
技术等该如何学习呢?
攻城狮百里
·
2023-04-06 12:13
DPDK
网络协议
DPDK
OvS
网络
DPVS
-FullNAT模式管理篇
本文主要介绍基于CentOS7.9系统部署
DPVS
的FullNAT模式的各种部署方式和配置管理,包括IPv4-IPv4、bonding、IPv6-IPv6、IPv6-IPv4(NAT64)和keepalived
tinychen777
·
2023-03-31 11:26
负载均衡
网络
linux
运维
lvs
负载均衡
在虚拟机编译运行
dpvs
安装依赖库aptinstalllibnuma-devapt-getinstalllibpopt-dev编译
dpvs
#编译dpdk.
分享放大价值
·
2023-01-29 08:54
DPVS
源码分析之启动过程
本文用于分析
dpvs
的启动流程,会对主要逻辑进行解析,忽略了一些边缘代码,比如配置文件解析,函数指针的注册等等。在阅读主逻辑的时候,如果有疑问的地方,再去看一些配置相关,初始化相关的代码。
铉清
·
2021-05-20 07:48
dpvs
学习笔记: 6 定时器实现及连接老化超时
dpvs
由于流表可能巨大,并且处在不同状态的tcp连接超时时间还不一样,如果实现的低效,会非常影响性能。所以
dpvs
在利用dpdk定时器的基础上,自实现了一个,算法是常见的时间轮。
董泽润
·
2021-05-06 17:21
dpvs
学习笔记: 2 启动流程
整个工程量其实不大,截止到现在
dpvs
代码量只有不到2w行,相当轻量级了,和当年redis开源时体量相当。整体架构先看架构图,对外交互层controlplane比较像lvs,不会陌生。
董泽润
·
2021-03-12 01:01
dpvs
学习笔记: 3 转发模式 dr 完整流程
dr转发入口上一篇提到,
dpvs
每个slave核心处于轮循状态,执行三个LOO
董泽润
·
2020-10-11 14:47
dpvs
学习笔记: 4 nat 完整流程
Nat用途很广,家里的宽带就是这种模式,将局域网的私有地址转换成公网地址。没有dr二层的限制,但是nat也有缺点,需要配置路由或是指定为realserver的网关,同时也会有性能扩展问题。nat模式对于进入的流量,实际上做的是dnat,将目标ip由lbip换成真正的rsip,此时后端rs是能拿到clientip的。返回的流量做snat,将源地址换成lbip.三层处理ipv4_rcv数据接收和上文都
董泽润
·
2020-10-10 06:15
dpvs
netif ip mac地址管理
dpvs
代码中ip,mac,netif的数据结构存储如下:该结构有下列优点:根据netifname快速找到ip地址根据netifid快速找到ip地址根据ip快速找到所属netif接口根据ip快速找到所属
圣骐
·
2020-09-13 23:58
dpvs
dpvs
dpvs
中ARP协议
arp_initneigh_tableper-lcore,hash桶初始化注册ARP协议的pkt_type,用于处理接收的arp数据包注册loop任务neigh_process_ring,arp数据包会通过ring广播到所有的lcore,取出其中的arp数据包处理staticintarp_init(void){inti,j;interr;//初始化neigh_table哈希表,每个lcore维护自
ss_chris
·
2020-09-13 17:12
dpvs源码阅读笔记
dpvs
中fdir与sa_pool介绍
问题引入
dpvs
是dpdk程序,特点就是每个核尽可能不与其他核交互,这就要求共享数据都有一份拷贝,或是数据私有。fnat模式中流表(session)保存连接信息,每个核独有。
ss_chris
·
2020-09-13 17:41
dpvs源码阅读笔记
dpvs
persistent调度
ipvsadmin配置命令,开启persistent选项之后,ipvs将来自同一个客户端的请求全部调度到一个固定的RS服务器上。对于SSL和FTP这类,其多个报文之间是相互关联的协议,需要开启此类功能。但是对于NAT转发模式,由于NAT将对端口号进行修改,FTP服务需要使用ip_vs_ftp模块才能正常工作命令行选项netmask默认为255.255.255.255,仅对同一个客户端进行持续调度。
ss_chris
·
2020-09-13 17:41
dpvs
conn超时处理
连接定时器处理函数设置超时处理函数为dp_vs_conn_expire设置priv为当前connstaticvoiddp_vs_conn_attach_timer(structdp_vs_conn*conn,boollock){intrc;//如果conn->timer正在运行中,则直接返回if(dp_vs_conn_is_in_timer(conn)){return;}//如果为长连接,则将定时
ss_chris
·
2020-09-13 17:41
dpvs源码阅读笔记
dpvs
安装
dpvs
是爱奇艺基于dpdk做的lvs的二次开发,性能更由于lvs下载dpvsgitclonehttps://github.com/iqiyi/
dpvs
.git进入到
dpvs
目录安装dpdk,
dpvs
官方建议最好把
weixin_40318438
·
2020-09-13 17:31
linux
DPVS
DR模式处理流程
DR模式的原理通过上篇笔记已经了解的比较透彻了,只不过是用的LVS来模拟进行抓包分析的,但是DR模式的原理是一样的,所以先跟着
DPVS
的源码了解一下
DPVS
实现DR模式的流程(这次分析主要跟着DR模式的处理流程走
智智方
·
2020-09-13 17:27
dpvs
连接会话老化处理逻辑
dpvs
代码分析:1、核线程配置相关文件:
dpvs
配置文件
dpvs
.confdpvs设计沿用了dpdk对每个cpu核线程的操作,每个cpu
懒少
·
2020-09-13 14:15
dpvs
源代码分析——master和slave之间通信
小胖我在阅读
dpvs
源代码的过程中,发现很多模块调用msg_type_mc_register函数或msg_type_register函数来注册
dpvs
_msg_type结构体,结构体定义如下:/*unicastonlyneedsUNICAST_MSG_CB
codergeek
·
2020-09-13 14:53
dpvs
学习笔记: 5 fullnat 完整流程及syn-proxy实现
fullnat介绍相比普通的nat,大部分公司都使用fullnat,对网段没有任何要求,也不需要配置路由。fullnat原理是在流量进入和返回时都做dnat和snat.而且fullnat性能扩展性非常好。如图所示,rs是看不到真正clientip的,所有的请求都来自lb.这是fullnat缺点,通过安装toa模块来解决。synproxy介绍DDOS攻击常见的就是synflood,利用三次握手原理,
董泽润
·
2020-08-24 12:48
DPVS
- 小米高性能负载均衡器
本文将主要介绍小米基于DPDK的高性能负载均衡软件
DPVS
(DataPlaneVirtualServer)。负载均衡简介负载均衡是指通过一台负载均衡器将客户端请求分散到不同的服务器上形成集群模式。
congxia1948
·
2020-07-07 05:28
开源负载均衡器
DPVS
介绍
DPVS
是基于DPDK的高性能第4层负载均衡器。基于阿里巴巴/LVS修改而来,出于蓝而胜于蓝。
LinuxProbe2016
·
2020-07-02 13:27
linuxprobe
dpvs
fdir的使用(笔记)
添加laddr的时候:intipvs_add_laddr(ipvs_service_t*svc,ipvs_laddr_t*laddr){structdp_vs_laddr_confconf;structinet_addr_paramparam;ipvs_fill_laddr_conf(svc,laddr,&conf);ipvs_fill_ipaddr_conf(1,0,laddr,¶m);
GodJarvan
·
2020-07-01 11:30
DPVS
dpvs
学习笔记: 13 部署问题汇总
编绎报错问题/root/
dpvs
/src//..
董泽润
·
2020-06-26 07:27
高性能负载均衡
DPVS
邻居子系统的实现
DPVS
邻居模块(neigh)数据包从服务器转发的"下一跳",一般情况下是网关(路由器)或者是同网段目标服务器,数据包需要将DSTMAC地址设置为“下一跳”的网卡MAC地址。
程序员肖邦
·
2020-06-24 07:47
负载均衡
高性能负载均衡
DPVS
的 SNAT 功能介绍
我们已经知道
DPVS
是一个基于DPDK的高性能负载均衡器,它能够支持DR、FNAT、NAT等工作模式。另外支持还能够支持SNAT功能,实现原理和FNAT很相似,因此也具备高性能的特点。
程序员肖邦
·
2020-06-24 07:47
负载均衡
利用 scl 为 CentOS 升级 gcc 版本
利用scl为CentOS升级gcc版本(一)背景在搞
dpvs
期间遇到的一个问题,在编译dpdk程序时会根据所在服务器的cpu所拥有的指令集,为了尽可能提高程序效率,将较新的cpu指令集编译到dpdk程序中
程序员肖邦
·
2020-06-24 07:17
工具&技巧
dpvs
学习笔记: 17 压测性能及优化
测试环境
DPVS
:InspurNF5270M3,E5-26302.60GHz24cores,memory96GRealServer:6台核数不同的机器,148个redis-serverBenchClient
董泽润
·
2020-04-05 16:17
dpvs
学习笔记: 12 TOA 实现原理
在full-nattwo-arm模式下,后端realserver获取到请求的来源都是dpvslocalip,如何获取真实的clientip呢?这就需要toa模块,原理都说是修改了rs机器获取ip的函数,具体如何初现呢?tcpoption字段关于tcpheader可以参考wiki,我把截图贴上来tcpheader我们知道ipheader里srcaddress肯定是dpvslocalip,否则数据包无
董泽润
·
2020-03-05 23:58
DP 动态规划初识
HMM中参数求解,都会用到动态规划,全是各种概率公式,是有一些抽象,今天决定举个一波简单的栗子,帮助理解DP把一个大问题,不断划分为更小的子问题来求解的这种方式,就是动态规划.这是最为直观和通俗的理解.
DPvs
小陈同学的数据之路
·
2020-01-02 23:00
记一次线上DPDK-LVS的故障排查
背景我们内部基于dpdk自研的高性能负载均衡器
dpvs
已经在多个机房部署上线,运行正常,但近期有多个金融相关的业务反馈,服务数据包在经过
dpvs
转发后,会出现hang住的情况。
twohearts0
·
2019-03-07 10:17
DPDK
LVS
故障
dpvs
学习笔记: 16 网卡绑定 mode 4 问题
背景参考dpdk官方bondingpmd文档,mode0是轮循,mode1是镜像,我司线上使用的mode4是802.3AD协义,使用特定层面hash算法来分配流量。bondmode4使用mode4比较特别,要求Itneedstocallrte_eth_tx_burstandrte_eth_rx_burstwithintervalsperiodoflessthan100ms.Callstorte_e
董泽润
·
2018-12-25 14:34
dpvs
学习笔记: 11 搭建 simple fnat
DPVS
测试需要的环境比较复杂,按照官方文档simplefnat测试一下单机双臂fnat.关于安装编绎没啥好说的,按github做就可以,但是一定要打开DEBUG模式,并且日志级别也为DEBUG测试环境
董泽润
·
2018-12-04 16:48
dpvs
学习笔记: 10 数据亲和性
基础服务组件两大性能杀手:锁和缓存失效,
dpvs
里面处处体现这两点的优化。再次强调一下,
dpvs
是dpdk程序,特点是每个核尽可能不与其它核交互,这就要求共享数据都有一份拷贝,或是数据私有。
董泽润
·
2018-11-19 15:11
dpvs
源代码分析——简介
在开始之前,我们先明确几个问题一、
dpvs
是什么?
DPVS
是基于DPDK的高性能第4层负载均衡器。基于阿里巴巴/LVS修改而来,出于蓝而胜于蓝。
codergeek
·
2018-09-04 00:00
玩转Linux编程
职场生涯
企业级负载均衡解决方案之四:爱奇艺四层负载均衡解决方案
DPVS
一、前言
DPVS
是基于DPDK的高性能四层负载均衡解决方案,从阿里巴巴的alibaba/LVS修改而来。所以基本上同前面美团点评、唯品会等使用的基于DPDK的技术类似。
cloudvtech
·
2018-05-19 06:33
负载均衡
DPDK
企业级负载均衡解决方案
dpvs
部署
fast.dpdk.org/rel/dpdk-17.05.2.tar.xztarvxfdpdk-17.05.2.tar.xz下载dpvsgitclonehttps://github.com/iqiyi/
dpvs
.git
战狐
·
2018-05-17 16:02
dpvs
centos
开源负载均衡器
DPVS
介绍
DPVS
是基于DPDK的高性能第4层负载均衡器。基于阿里巴巴/LVS修改而来,出于蓝而胜于蓝。
LinuxProbe2016
·
2017-10-31 19:55
linuxprobe
上一页
1
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他