python大神们！都在用的什么爬虫工具呢？
前言
Python开发爬虫常用的工具总结
reqeusts：Python HTTP网络请求库;
pyquery： Python HTML DOM结构解析库，采用类似JQuery的语法;
BeautifulSoup：python HTML以及XML结构解析;
selenium：Python自动化测试框架，可以用于爬虫;
phantomjs：无头浏览器，可以配合selenium获取js动态加载的内容;
re：python内建正则表达式模块;
fiddler：抓包工具，原理就是是一个代理服务器，可以抓取手机包;
anyproxy：代理服务器，可以自己撰写rule截取request或者response，通常用于客户端采集;
celery：Python分布式计算框架，可用于开发分布式爬虫;
gevent：Python基于协程的网络库，可用于开发高性能爬虫
grequests：异步requests
aiohttp:异步http client/server框架
asyncio：python内建异步io，事件循环库
uvloop：一个非常快速的事件循环库，配合asyncio效率极高
concurrent：Python内建用于并发任务执行的扩展
scrapy：python 爬虫框架;
Splash：一个JavaScript渲染服务，相当于一个轻量级的浏览器，配合lua脚本通过他的http API 解析页面;
Splinter：开源自动化Python web测试工具
pyspider：Python爬虫系统
网页抓取思路
数据是否可以直接从HTML中获取?数据直接嵌套在页面的HTML结构中;
数据是否使用JS动态渲染到页面中的?数据嵌套在js代码中，然后采用js加载到页面或者采用ajax渲染;
获取的页面使用是否需要认证?需要登录后页面才可以访问;
数据是否直接可以通过API得到?有些数据是可以直接通过api获取到，省去解析HTML的麻烦，大多数API都是以JSON格式返回数据;
来自客户端的数据如何采集?例如：微信APP和微信客户端
如何应对反爬
不要太过分，控制爬虫的速率，别把人家整垮了，那就两败俱伤了;
使用代理隐藏真实IP，并且实现反爬;
让爬虫看起来像人类用户，选择性滴设置以下HTTP头部：Host：
https://www.baidu.comConnection：keep-aliveAccept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8UserAgent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.104 Safari/537.36Referer: http://s.weibo.com/user/gamelife1314&Refer=indexAccept-Encoding: gzip, deflateAccept-Language: zh-CN,zh;q=0.8
查看网站的cookie，在某些情况下，请求需要添加cookie用于通过服务端的一些校验;
读者福利：知道你对Python感兴趣，便准备了这套python学习资料
对于0基础小白入门：
如果你是零基础小白，想快速入门Python是可以考虑的。
一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括：Python安装包+激活码、Python web开发，Python爬虫，Python数据分析，人工智能、机器学习等学习教程。带你从零基础系统性的学好Python！
零基础Python学习资源介绍
Python学习路线汇总
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（全套教程文末领取哈）
Python必备开发工具
温馨提示：篇幅有限，已打包文件夹，获取方式在：文末
Python学习视频600合集
观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
实战案例
光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
100道Python练习题
检查学习结果。
面试刷题
资料领取
上述这份完整版的Python全套学习资料已经上传CSDN官方，朋友们如果需要可以微信扫描下方CSDN官方认证二维码输入“领取资料” 即可领取
好文推荐
了解python的前景：https://blog.csdn.net/weixin_49895216/article/details/127186741
了解python的兼职：https://blog.csdn.net/tingting11232/article/details/128578996