小结

JSON函数

selenium提取数据的方法

近几天学习状况：

1、 基础的爬虫框架：基于深度优先的通用爬虫对百度词条进行爬取（若没有限制，则会一直爬取下去）

五个模块：

各模块的解释

2、反—反爬虫技术：

（1)知乎验证码：
问题：知乎的验证码分为两大类：英文验证码（属于输入类）和中文验证码（属于点击类），难点在于使用selenium模拟如何处理点击类验证码。发现在模拟登录过程中，账号和密码的输入需要有时延，不然会被发现为爬虫，登录按钮点击第一次没反应，第二次点击会出现验证码（随机是中文或英文），很头疼…
方法：
1）我先使用了云打码，接入API，但对于中文验证码而言只有识别作用，无法自动点击。

识别不出来
2）绕过验证码，使用代理IP，selenium使用代理IP还不太懂；尝试爬取免费代理IP网站，但发现爬不到

3、动态网页的爬取

该网页使用了Ajax技术，使得用户与服务器交互时所返回需要的信息，不会刷新整个页面，只对局部进行更新，如XML(网络的请求对象）。当你用requests请求一个网页时，会出现请求失败，或者返回的response与在浏览器看到的内容不一致，这就使用了动态技术。比如我们在QQ音乐的网页版看热评，需要有翻页的情况，此时用到了这种既技术。
获取方法：
1）直接从服务器为当前的请求返回的response中获取数据（为列表/字典类型, .json）；requests.post或者get请求
2）采集浏览器中已加载好的数据（selenium）