python爬虫——使用内置的urllib模块进行

使用环境:win7;python3
参考教材来自FishC.com

python爬虫——使用内置的urllib模块进行_第1张图片
urllib.png

urllib一共四个模块,通过urllib.request.urlopen()函数就可以访问网站了。

实例一:下载单张图片的网站

python爬虫——使用内置的urllib模块进行_第2张图片
Paste_Image.png

运行程序以后下载到桌面


python爬虫——使用内置的urllib模块进行_第3张图片
snake.png

有时遇到图片较大的时候容易出错,这个时候需要缓存的帮助

python爬虫——使用内置的urllib模块进行_第4张图片
图片.png

官方推荐的方法是:

python爬虫——使用内置的urllib模块进行_第5张图片
图片.png

多进程

python爬虫——使用内置的urllib模块进行_第6张图片
图片.png
python爬虫——使用内置的urllib模块进行_第7张图片
图片.png

实例二:爬百度翻译结果

这是post提交的内容


Paste_Image.png

你可能感兴趣的:(python爬虫——使用内置的urllib模块进行)