爬虫工程师内功修炼，全面了解计算机网络协议

---

一、为什么要学习计算机网络

如果不懂得计算机网络，在学习爬虫之后遇到了问题，不知道如何去分析这些问题，也就是作为爬虫工程师的内功，就需要对底层的一些协议了解，再去分析爬虫中所遇到的网络问题等细节问题的时候，就知道它的一个原理是什么，就知道如何去排查这些问题。

比如说对HTTP协议比较了解，就可以模拟一个登录的原理。

当遇到反爬怎么办呢，反爬实际上也是借助于计算机网络的一些知识，当我们在做反爬的时候，也需要基于协议来做很多策略，当我们懂得这些底层的协议之后，那反爬的策略实际上都逃不过这些协议，所以学习计算机网络有助于去解决目标网站的一个反爬的问题。

当了解计算机网络一些底层协议，就可以去抓包分析，抓包分析完之后，自己就知道能不能去爬取目标的数据。