python爬虫总结

C++，Java，python等很多语言都可以爬数据，推荐大家用python，理由简单实用。

爬虫，根据爬的对象，可以分为爬网页和爬app。

相对来说，爬app的难度会大一点，因为熟悉Android和iOS开发的人员少，反编译的难度比较大。

但不是说，爬网页是很简单的事，这主要看双方的攻防较量。

下面说下爬虫的一般流程：

第一、锁定一个要爬取的URL，网页可以通过浏览器网络确定，app就需要抓包，详情这边不在展开。

第二、解析数据，包括HTML、XML、JSON。

第三、组包，拼接包头和内容，发送请求，获取响应数据。

第四、通过队列进行数据存取。

第五、增加IP代理池，防止IP被锁定。

第六、数据入库，可以选MongoDB或Mysql，具体选哪种数据库，看实际情况。

第七、部署服务器，进行长时间测试。