Python+url2爬虫技术

这回就编写一个小爬虫,知乎好像封闭查询了,那么我们换一个比较好爬取,而且不容易变动的网站,emmmm,起点网怎么样?爬取许多小说名字吧。

爬取分为,嗯,三个步骤大概,首先是用python的url库搭接网络连接部分,能够自动打开许多网页和下载它的html,这个很简单,都是模板不用费脑子,然后是分析目标网站的html,观察对应的要爬取的内容是怎么被包围在这些标签中的,然后是用python的正则表达式构建字段,从整个html里进行匹配,匹配成功了就输出,整个过程大致就是这样,关键是如何打开这些网址,以及如何匹配正确,就是这样。

在匹配之前,最好就是先用一个网页试着匹配一下,实验性的,不然匹配错了,输出一大堆错误的东西,也会降低效率

这回用的是scrape爬虫框架

这里有一点是,urllib2现在与urllib合并了。。。然后如果你要用urllib2的话,它就是urllib里的request,所以你单独倒一条:

Import urllib.request as urllib2

这样就可以愉快的玩耍啦!

然后可以这么写几句话看一下:

import urllib

import urllib.request as urllib2

import urllib3


response = urllib2.urlopen("http://www.baidu.com")

print(response.read())

就两句话,但是能传出来一大堆东西。

其实上面的urlopen参数可以传入一个request请求,它其实就是一个Request类的实例,构造时需要传入Url,Data等等的内容。比如上面的两行代码,我们可以这么改写:

request = urllib2.Request("http://www.baidu.com")

response = urllib2.urlopen(request)

print(response.read())

效果是一样的,但是会更加灵活,我们可以在构建request的时候填进许多内容,达到完全掌控网页的目的,因为现在的网页大多数都是动态的,因此我们往往会构建出非常复杂的request

值得注意的是,在python2与python3中的urlencode的方法并不是在同一个地方。Python2中提供了urllib和urllib2两个模块,urlencode是在urllib下的,而在python3中只提供urllib和urllib3两个库,其中urllib包括了绝大多数功能,而urllib3只是作为一个拓展模块使用的。

然后,执行一下,报错了:

TypeError: POST data should be bytes, an iterable of bytes, or a file object. It cannot be of type str.

为什么会出现这种错误呢?上网一查,原来是python2与python3的版本问题导致的,现在网上大多还是python2的教程,所以用python3就会举步维艰,解决方法是在urlencode后面加上.encode(encoding=’UTF8’)//就是这样

解决这个问题,然后又报错了,什么问题呢:

raise HTTPError(req.full_url, code, msg, hdrs, fp)

urllib.error.HTTPError: HTTP Error 405:

这个问题看起来是网络的问题,又在网上查了一下,405是这个东西:

405 -用来访问本页面的 HTTP 谓词不被允许(方法不被允许)

什么意思呢,就是有些网页在被访问的时候,服务器要求需要知道是什么操作系统,什么浏览器,甚至什么硬件信息,如果没有,它就会返回405错误,而这恰是爬虫所缺少的,怎么办呢?我们可以对其进行伪装:

values = {"username":"[email protected]","password":"XXXXXXXX",'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'}


然后不出意料的是,又报错了,MMP,这回的错误的是:

AttributeError: 'bytes' object has no attribute 'items'

这是因为,python3中,编码的时候区分了字符串和二进制,把encode改成decode就可以了

你可能感兴趣的:(Python+url2爬虫技术)