今天爬取的是去哪儿网上的上海旅游景点,我们要爬取的是景点的经纬度、景点名称、点评数、星级、攻略提到的次数
爬取出来的数据如下(我只截取了前10条数据):
爬取的网址是:https://travel.qunar.com/p-cs299878-shanghai-jingdian
用途:用requests对网址发出请求后,用BeautifulSoup解析网址
这里拓展一下:200 说明服务器已成功处理请求
302 说明服务器目前从不同位置的网页响应请求,类似跳转页面
404 说明服务器找不到请求的页面
通过requests对网址发出请求后,咱们可以使用r.text获取网页的html文档,密密麻麻一大堆~
接着咱们试一试使用BeautifulSoup解析网址,看看会产生什么结果
嗯~看起来好多了~在html中,h1表示最大的标题,h6表示最小的标题
咱们试试获取h1这个标题信息 ,可以看到我们获取到的是网页的标题
现在差不多知道requests和BeautifulSoup的用法啦,那么就开始爬取上海的旅游景点信息吧
登录网址后咱们可以发现这是列表页面,每个页面的网址都基本相同,唯一不同的就是所在的页面,如下,第二页和第三页不同的地方只有最后面2、3所在的位置
根据上面的信息,获取前3页的网址看看~这里我创建了一个空列表urllst,用来准备装生成的网址,用的是.append将生成的网址添加到列表
我们试试采集第一页的信息,可以看到下面截图中圈出来部分可以完全包含我们所要爬取的信息,所以可以从class为list_item clrfix的ul标签中获取信息,每一个li标签对应着每一个景点的信息
find_all()表示查找所有的标签
因为每个li对应的是每个景点的信息,我们来看看第一个景点的信息
如果我要获取的是这个景点的位置、名称、点评数、星级、攻略提到的次数,应该怎么办?
图中标注出来的标签就是对应的景点位置、攻略提到的次数、名称、点评数、星级
因为经纬度直接在li里的,是属性值,直接索引就可以了
景点名称属于元素,存储在class为cn_tit的span标签中,需要用find()函数找到标签,找到标签后,在其后面加.text就可以获取到景点的名称啦;攻略提到的次数是div标签中的,它的span标签其实是空的,只是嵌套在了div标签下;点评数是在class为comment_sum的span标签下;星级是在class为cur_star的span标签下的style中,找到星级标签后采用的是split对width:96%进行分割
下面代码使用了字典dic存储获取到的数据
我们获取到的是第一个景点的信息:
这个上海旅游景点的网站中每个网页有10个景点,那么如果我想要获取200个网页的信息呢
具体代码如下:
最后一共爬取了2000条数据
爬好的数据,将其转化成数据框的形式再保存为CSV的格式,然后就完成了~~~得到的结果就是开头我发的那张数据截图
我很黑,但我是小白是真的,所以我是往详细了写~这样后面遇到不懂的还能回头看看