工作小结(二)

入职这家公司快三个月了，来之前没想到这么忙，在上一家公司呆了四个月不足，离开是因为想成长，做个产品，能忙起来。后来决定加入这家公司，在元旦期间研究了下mirai代码，元旦结束入职的一周就看dpdk的文档，然后看了下example下的几个代码试着修改了下，然后需要写针对tcp相关的syn，ack等发包程序，需要达到一定的性能。对于10Gbits/s的光纤口，小包64字节的，需要达到1480w+每秒，然后写了多线程发包和收包，达不到最佳，然后又改，里面有好些点不是很清楚，随着思考的深入，后来对于一个线程处理一个port的端口，性能就达到要求了，使用这个主要是构造攻击包测试。

第二/三周开发了数据库相关接口并测试；接着就对另外一个同事写的程序，也就是现在做的项目，进行优化；主要是针对框架，业务处理部分进行调优[开始的业务不是很复杂，与目前做的没有重合]，一开始使用的是gprof，但不支持多线程，后面改用了perf。原有框架有很大问题，到目前为止一共尝试了五种框架，不断的测试，再加上后面的具体业务，选择了目前的框架，也算是更优的。到目前为止，在业务代码方面的优化主要作了如下几种工作，还算不错的：
1 代码中有很多的判断，比如判断一个包的合法性，把很多的if判断改用了switch；
2 在不改变业务正确性的前提下，尽量减少不必要的计算，比如延迟再计算；
3 怎么合并计算，即利用上一次计算结果来避免后面的计算；
4 充分利用cache，服务器的架构等特点；
5 避免多线程之间的竞争，变量局部化，减少锁的使用等；
6 还有一些关于dpdk自身的一些参数，这个需要不断调整测试；
以上调优过程比较漫长，需要不断的测试与对比，还要保证原有的功能正确。

年后就开始真正的研究常见的攻击手段和防御了。
有攻击才有针对性的防御，是检测到了具体的攻击类型才触发对应的防御策略，前者开发工作量不是很重，有些是想不到的，需要抓取真实的攻击包分析提取特征。防御攻能的开发需要保证不误杀的情况下能防住，不然会被打趴。然后就是具体的策略了，比如对于syn攻击，对于真实源发起的怎么判断，如果是非真实的呢？里面有很多点是需要注意的。

后来经过了两轮线上测试，一次是169G的流量，一次是199G的流量，前一个在测试的时候把一个判断给注释了，资源回收的时候没有考虑其他一些点，所以导致了syn大包没防住，且后面正常业务不通。然后修改了并调整了相关的代码自测，后一次测试最后放行流量为700多兆，其中有些包被网卡miss掉了，在白名单中的能正常业务，非白名单不行，那会框架还是有些问题，且逻辑有点复杂，导致了线程处理不过来。

后来针对以上出现的问题分析制作相应修改，调整框架，分析包的特征，然后在linux上是没问题了，不管是真实源还是非真实的，都能正常处理，且业务正常，后来发现在mac和windows下该特征不同，所以得重新考虑...现在一期差不多完成了，剩下的就是测试和优化，再加上未考虑全面的攻击类型。

怎么说呢，以前对tcp/ip协议方面没有往底层深入了解过，只知道网络编程模型原理和基本的三次握手和四次挥手的过程及一些问题。有次客户端发起连接，发了syn包后，服务器回了个错误的syn ack且并没有checksum[这个过程比较费时]，然后客户端没有回rst包，看tcp三次握手的源码时才知道它会先检查checksum，不正确就不会接着检查ack了，接着对错误的ack回rst包，所以服务器这边要checksum，客户端那边checksum正确后检查ack发现不对就回rst包了。

过程中也面试了一些候选人，出了一套基础笔试题，还是感觉基础很重要。

做这个项目成长很多，对知识点和考虑问题不走常规路线，反其道而行，有很大的提升，虽然一天到晚工作，很少看手机，而且就和我和另一位同事在开发，比较紧的，但有些成就感，希望把它做好。