爬虫实战爬取有道翻译

【1701H1】【穆晨】【180127】第109天总结

图片也是文件,也是用二进制数据组成的,用wb写入

写了一个爬取placekitten网站的一张猫图的代码

爬虫实战爬取有道翻译_第1张图片

爬虫实战爬取有道翻译_第2张图片

urlopen后面可以是字符串也可以是地址,详情docs里面搜索

这是后面加地址的

这是后面加字符串的


geturl获取的是具体的地址

爬虫实战爬取有道翻译_第3张图片

info获得是HTTPMessage的一个对象,可以把它打印出来,得到远程服务器返回的head信息


getcode得到http的状态码,200(OK)

游览器自带审查元素(检查)

爬取网站需要URL和data需要从headers寻找

get是从服务器请求获得数据

post是向指定服务器提交被处理的数据

user agent识别浏览器访问还是代码访问

windows NT 6.3-> windows 8.1

5.1->windows XP

6.1->windows 7

下面写一个爬取百度翻译的代码

爬虫实战爬取有道翻译_第4张图片


error。。。反扒。。。

百度不行就有道

爬虫实战爬取有道翻译_第5张图片

有道也反扒,出来的也是error,但网上网友表示url改下就可以了

出来的是json,导入模块,提取我们需要的东西

爬虫实战爬取有道翻译_第6张图片

然后改进代码,做成能给用户用的东西

爬虫实战爬取有道翻译_第7张图片



你可能感兴趣的:(爬虫实战爬取有道翻译)