流量监控（TC）+网络管控（iptables工具）+分布式框架简介

TC工具：（参考）

应用场景：网络故障模拟（网卡）

实现平台：Linux

解决问题：

       本质上是做一个流量的控制（延伸到具体应用有丢包、延迟、抖动等）

原理：

       从流量控制的角度看（使用TC工具），流量控制主要分为三块，包括队列、类和TC，这里我们会先建一个队列，队列的方式有CBQ、HTB等，然后在队列下建立类，这边流量过来，比如说WWW和Email这两种流量需要被分派到两个类中，我们通过filter对应相应的流量规则来匹配这两种类

linux基本的流程操作是：

1、建立队列：

tc qdisc add dev eth1 root handle 1:htb default 11

通过qudis创建跟队列root，采用队列方式是htb

2、创建类

  tc class add dev eth1 parent 1: classid 1:13 htb rate 20mbit ceil 20mbit

通过class创建类，跟队列是parent1，子队列是class 1:13，这里是对带宽进行了限制这里是rate 20mbit，最高带宽ceil 20mbit

3、设置过滤器

 tc filter add dev eth0  parent 1:0 protocol ip prio 1 u32 match ip dport 80 0xffff flowid 1:11 

这里是一个匹配操作，u32过滤器要检查的协议字段是 protocol ip，匹配的的ip端口是80 ，匹配的结果是0xffff ，最终会把流量放入类1:11 中

4、检查流量配置情况

tc filter show dev DEV或者tc -s -d qdisc ls这个表示方式很多

与其他工具或模块的结合

比如说和netem模块结合，可模拟场景包括：模拟端口或IP超时、网络丢包（netem  loss）、包损坏（netem  corrupt）、包乱序（ reorder ）、包重复（netem  duplicate）、网络抖动（抖动是在延迟基础上做的，是一个迭代过程，可以先用tc设置延迟，一定时间之后将tc规则删除，在设置延迟再删除以此往复）

注意的点：

tc执行必须root账号 ；只针对出口流量有效

---

iptables工具：（参考）

应用场景：网络管控（作用层是第三层和第四层）

实现平台：Linux

解决问题：网络的过滤或网络地址转换

原理：

        这里iptables内部可以理解为一个网，这里table是一个整体的框架，里层是chain，chain里是具体的rule ，这里的一个table可以包含多个chain，chain可以包含多个rule。table主要分为三部分，主要是nat、mangle和filter，其中nat主要是改变网络地址，mangle主要是做对包的一些设置，相关的chain是 PREROUTING，POSTROUTING， OUTPUT，INPUT 和 FORWARD，对于filter 做的是对包进行 DROP、LOG、ACCEPT 和 REJECT 等操作。举一个例子来说：进入主机的包（data）主要有三种为输入本机的包，本机作为源输出的包，和本机作为中转的包，当data进入时iptables这边会先做一个relu的判断，是丢弃（relu中Target参数DROP）包还是接受（ACCEPT）,如果是接受，接收后判断是否是本机的包，如果是本机包，送入上层进行处理，如果不是则通过Forwarding Block处理，同时也接受来自本机的包，这里如果和TC结合可以理解为iptables做了一个Mark的工作，将经过预处理的包再让TC做一个流量控制。当然relu是可以自己依情况设置规则的，这里只是做了一个包处理过程模拟，当然它还包括网址切换等操作

linux基本的流程操作是（这里基本是和TC联合一起用的）

这边是一个简单的上网、端口设置和限流的例子

iptables -t nat -A POSTROUTING -s 172.16.44.0/24 -o eth0 -j MASQUERADE

通过nat添加端口转发

iptables -t nat -I PREROUTING -p tcp -d a.b.c.d --dport 80 -j DNAT --to 172.16.44.210:80iptables -t nat -I POSTROUTING -p tcp -d 172.16.44.210 --dport 80 -j SNAT --to 172.16.44.1

这里是指定外网地址，将80端口转发到172.16.44.210:80，它这里设置的内网地址是 172.16.44.210

下面既可以用TC对网路进行一个限速

---

分布式系统:

       我们客户端这边用的是Tomcat（web server）和应用（java app），通过HHTP协议与服务端进行通信，服务器这边的部署是根据分布式框架，希望用更多的计算机实现更大的数据处理，这里的计算机即系统分布节点，这里是多节点提供相同服务，那么问题就是如果几个应用过来应该选择哪个节点，这里采用的是负载均衡选出一个节点，对于日常应用可能每个应用间还有联系，也就是各节点间要通信，通信符合TCP/IP协议，节点的下边就是数据处理层

        这是内部一个集群的处理过程，在公司的情况下，一个部门的服务可能与其他部门是相关的，每个部门都有独立的机器部署，相互间的通信是通过rpc实现的远程处理（rpc实现通信的过程主要是对一端对数据进行封装，另一端解封，调用的过程）

这是一个大概的框架，如果下一步会详细看下