记一次爬虫踩坑经历

昨天给我的另一篇文章 品牌企业舆情监控与处理 补充了一部分爬虫的内容，突然想到这部分内容可以单独拉出来写一篇文章。只是这个经历距离现在已有一年的时间，很多细节都记不清了，只能模糊地回忆个大概。这是我第一次写爬虫，水平基本上就是 copy and paste from stackoverflow，外加两本Python数据分析书随手翻。

当时需求是抓很多页面（大概几十万张）中的内容，并提取特定的字符串，如email，URL等。

当时的想法是: 因为数据量大，所以整个过程可以套在Python pandas里的dataframe里做，考虑到pandas是用c直接写的，所以性能要比Python 自带的循环高很多，而通过pandas，抓出来的字符串可以和URL匹配上，非常方便。

大概逻辑是这样:

URL导入pandas列中，然后开始遍历，每次遍历用scrapy请求URL，获取页面所有数据，匹配出来email或者URL，写回到pandas的dataframe中，再写库（比如MySQL）或者写到文件，释放内存，完成。

我是比较懒的一种人，喜欢写好脚本放到Linux上在后台自己跑，然后关掉终端自己干别的事去，过一会儿再去看看。结果就一直发现脚本跑到一定程度就自己停了。

这里主要会有这样几个坑:

1. 请求URL的问题，响应超时时间设置

2. 对于404,301,500等非200状态码的处理

3.对于页面编码的处理，几种中文编码都要考虑到:utf8,gbk,gb2312等

还有很多未知的问题，有时候脚本停了，没有记录抓到哪，又要重新开始抓。写库的时候写进去了好多重复数据，只能一遍遍清库重抓。

遇到的第二类坑，就是数据量:

数据量大，又涉及遍历，然而服务器配置又有限，所以先要把一个大的dataframe切成几个小的，就会一个循环套另一个循环，然后需要不停地把内存里的dataframe写到数据库里，以释放内存，那时候技术水平太差，不知道这种情况该如何多线程处理，所以抓的很慢。

还有，也是技术水平问题，就是正则表达式:

了解过一些正则，但在不同语言中，regex写法也有略微不同，所以我就直接搜索别人写好的，结果发现，别人写好的好多配出来的都有问题，无奈重新处理。

最后还是决定用现成的网站抓取工具了。主要是因为不容易出现未知exception而脚本突然停了，其实都可以用脚本实现，只不过进一步完善脚本的时候，感觉就是冲着开发一套网站抓取工具去了，有种重复造轮子的感觉。

现成的网站抓取工具也有诸多不便之处: 这类有界面的工具往往都是在Windows系统上跑，一台机器如果不装虚拟机只能跑一个工具，并且有时候界面真的不如命令行来的方便。

另外还是数据量问题，这类工具往往使用sqlite作为数据库，数据量一大，处理起来也不方便。

以上只是菜鸟的一次爬虫踩坑经历，欢迎交流。