python携程酒店评论_携程酒店评论爬虫心得

携程酒店评论爬虫心得

发布时间:2018-09-02 15:58,

浏览次数:613

携程酒店评论爬虫心得

这次爬取数据,遇到了不少的困难,也走了很多弯路,特此写下帮助记忆。以下基本是我爬取数据的过程,前半段是弯路,可直接绕过,后半段是解决方法。

打开携程,南京YMCA酒店页面,可以发现如下布局:

其中,酒店点评是我要找的内容。

一般来说,抓取内容采用 requests+xpath。如下:

import requests from lxml import etree url =

'http://hotels.ctrip.com/hotel/1678723.html?isFull=F#ctm_ref=hod_sr_lst_dl_n_1_1'

s = requests.get(url).text #获取网页内容 body = etree.HTML(s) #解析网页,用于网页各内容的定位

#以用户名来做实验 user_name = body.xpath(

'//*[@id="divCtripComment"]/div[4]/div[12]/div[1]/p[2]/span/text())

print(user_name)

结果显示正常,但是可以由图1看到,酒店点评是进行翻页的,存在下一页按钮,以及页码搜索框等。

因此,如果要获取不同页面的内容,需要有每一页的索引。

但是此处,点击下一页,网页的url不改变。

初步确定为”动态加载。

寻找url的过程比较长久。分别包含以下:

1. 关闭JavaScript,可以发现每一页有一个独立的url。

但是,将其按照上述方法执行,结果仍然不是所要的。

2.获取关于点评的网页url

这个url是我的在无意中从别人的博客中获取的【现在找不到了】,打开后,页面上只存在酒店点评。一开始,我觉得页面很干净,而且鼠标向下滑动的时候,会显示”加载中“,每次增加十个评论。我试用了好多方法去解决”加载“问题,但是只显示最新的十个结果。

* 构建网页的url url =

'http://hotels.ctrip.com/Domestic/tool/AjaxHotelCommentList.aspx?' params =

headers = data = requests.get(url,headers = headers, params = params)

#headers可以看到 GET方式

此种方式,最终得到的内容仍然为空。

4.根据preview

一博客上介绍可以看一下preview,观察源代码结构后,结果仍然为空。并提示我“非法参数”。

5~.还有若干方法,若干博客,以及若干公众号,我已经不愿提起。。。。

最终询问了大佬,大佬提及chromedriver,终于看到了曙光。本人电脑实在渣,加上网速慢,半小时才把【selenium,chromedriver】准备妥当。而且由于电脑一直提示不安全,某些链接无法选择,过程特别慢。严重怀疑我之前的方法是不是不在于算法,而在于电脑问题。

下边直接放代码:

#计算运行时间 import datetime starttime = datetime.datetime.now() #引入相关库 from

seleniumimport webdriver from bs4 import BeautifulSoup import time #导入Keys

模块[键盘] from selenium.webdriver.common.keys import Keys import csv #主体部分 url =

'http://hotels.ctrip.com/hotel/5311088.html?isFull=F#ctm_ref=hod_sr_lst_dl_n_1_2'

browser = webdriver.Chrome('E:/chromedriver.exe') browser.get(url) #打开网页 page =

1 with open('file.csv','w',encoding = 'utf-8') as f: while page < 5: html =

browser.page_source body = BeautifulSoup(html,"html.parser") user_list =

body.find('div',{"class":"comment_detail_list"}) #print(user_list) name_counter

=0 for user_info in user_list: n = page *(name_counter+1) print('第{}页第{}个用户'

.format(page,name_counter+1)) #获取用户名 user_name = user_info.find('p',{"class":

"name"}).find('span') if user_name is None: user_name = None else: user_name =

user_name#print(user_name.get_text()) #保存结果 f.write("{}\n".format(user_name))

name_counter +=1 print(name_counter) print('____________________-') page +=1

obj = page time.sleep(8) #执行翻页操作,搜索框输入页码 input = browser.find_element_by_xpath(

"//input[@id='cPageNum']") input.clear() input.send_keys(obj)

input.send_keys(Keys.ENTER)

#以上各项指标比较粗糙,因为担心html的

等组件存在差异【其实,我看了一些确实有差异,所以才改成粗糙的获取方式;注释掉的print括号内有些可能不正确,我也每检查,反正后来不需要了。replace,strip等方法可以让结果去除掉无用字符

#获取结束时间 #long running endtime = datetime.datetime.now() print (endtime -

starttime).seconds

相关资源:

* python使用chrome driver做简单爬虫

* python selenium执行翻页

你可能感兴趣的:(python携程酒店评论)