python爬虫及urllib库初步使用
1.初识爬虫
网络爬虫（又被称为网页蜘蛛，网络机器⼈，在FOAF社区中间，更经常的称为网页追逐者），是⼀种按照⼀定的规则，⾃动的抓取万维⽹信息的程序或者脚本。
urllib和urllib2库是学习Python爬⾍最基本的库，利⽤这个库我们可以得到⽹⻚的内容，并对内容⽤正则表达式提取分析，得到我们想要的结果。这个在学习过程中我会和⼤家分享的。
2.urllib库初步使用
2.1.简单爬取网页
要爬取网页，我们需要创建请求对象，获取返回的内容和清洗数据这三个步骤。
请求的创建，可以通过urllib库中的request.Request类来实现。例如，
from urllib import request
headers = {
"User-Agent": "自己的User-Agent",
} # header头可以在浏览器中“检查”-“网络”中获取
# 创建请求对象
req = urllib.request.Request("http://www.51job.com/", headers=headers) # 第一个参数为要进行爬取的网址，第二个参数为headers参数
注意，网站为了反爬虫会对访问的浏览器进行验证，我们需要添加headers参数来通过验证。
要获取返回的内容，我们需要通过request.urlopen()方法。例如，
# 获取返回的内容
res = request.urlopen(req)
print(res.info()) # 获取网络信息
print(res.read()) # 获取网页源代码
注意，此时输出的网页源代码为二进制，我们需要使用decode()方法进行转换。例如，
from urllib import request
url = "http://www.so.com"
headers = {
"User-Agent": "自己的User-Agent",
}
req = request.Request(url, headers=headers)
res = request.urlopen(req)
print(res.read().decode('utf-8')) # 将二进制转换为utf-8格式
2.2.下载图片
我们可以通过request.urlretrieve()方法将图片下载到当前文件下。例如，
from urllib import request
request.urlretrieve("https://dss1.bdstatic.com/70cFuXSh_Q1YnxGkpoWK1HF6hhy/it/u=3830587581,3607655220&fm=26&gp=0.jpg", 'beauty.jpg') # 第一个参数为图片链接，第二个参数为保存的图片名
2.3.POST请求
我们创建请求对象的时候，如果没有添加data参数，则默认为GET方法请求；如果我们添加data参数，则为POST方法请求。
注意，由于data参数必须是url格式，因此，我们可以通过urllib库中的parse.urlencode()方法将带data参数的字典转换为url格式；同时parse.parse_qs()方法将url格式的字符串转换为字典。例如，
from urllib import parse # 导入parse
params = {'name': 'YRC', 'age': 18}
result = parse.urlencode(params) # 将字典转为url
print(result)
reverse = parse.parse_qs(result) # 将url转为字典
print(reverse)
执行结果如下，
name=YRC&age=18
{'name': ['YRC'], 'age': ['18']}
下面我们展示爬取网易云音乐的其中一页评论，
from urllib import request, parse
import json
url = "https://music.163.com/weapi/v1/resource/comments/A_PL_0_5090312130?csrf_token="
data = {
'params': '/i59N3sJGoihSvD9S4Ytmaf6Z977fVgwg25dY59FGUQTWhOgsLiWQHv6aYv9rMPngU/5g55GoFQzqoN74QQAvafh3YnK5tDdpKiqDI60IXvW+oO3O1zktOS5iLO6/M94TY0Lmaqryo9OzfRL3+iQ21Yw0ootVy/AhFGJxqX31p7m4AIgxwp05nr4cn0hIwdW',
'encSecKey': '4be298acedfc2d4b2faa632d37eb597b69934711f75d656794078083865d5a7479d8dd783f485a86d81cadb3790a9a53ca877a72b15f2518051e051649790242ff545e1558012b25e62efd1fba9b6362102230c8bb7b4ebf70359a90d3b408155296c2beea8d6ab61047b67dffb913a3278f956d2f439fd57f33ad7ab86d1a6b',
}
headers = {
"User-Agent": "自己的User-Agent",
}
data = parse.urlencode(data).encode()
# 创建请求对象
req = request.Request(url, headers=headers, data=data) # 如果加上data参数就是POST请求
response = request.urlopen(req)
content = response.read().decode('utf-8') # 返回json数据
# 清洗数据
hotcomments = json.loads(content)
hotcomments_list = hotcomments.get('hotComments')
for hotcomment in hotcomments_list:
user_id = hotcomment['user']['userId']
nickname = hotcomment['user']['nickname']
content = hotcomment['content']
print(user_id, nickname, content)
注意，上面的url参数和data参数是通过fiddler 4工具获取到的。