Python爬虫遇到的问题（二）---关于beautifulsoup select方法时得到空列表的问题

问题

右键点击审查，然后在弹出的html源码中右键选择Copy–>Copy selector
得到

#topic > dl:nth-child(3) > div > div.newsbottom > ul > li:nth-child(8) > a

描述了我们想要获取的内容在html中的由外层到内层的位置/路径信息。

from bs4 import BeautifulSoup
import url_get
import urllib.request

def get_html(url):

    page = urllib.request.urlopen(url) # 打开网页

    htmlcode = page.read().decode("gbk") # 读取页面源码 ‘gbk’解决中文乱码问题，不用utf-8因为utf-8报错，可能是因为特殊字符不支持

    return htmlcode

url = 'http://www.zjgsu.edu.cn/news/' #浙江工商大学新闻网

html = url_get.get_html(url) #获取html

soup = BeautifulSoup(html,'html.parser')  #定义一个Soup对象

#topic > dl:nth-child(3) > div > div.newsbottom > ul > li:nth-child(8) > a
#Copy selector得到的
newses = soup.select('topic > dl:nth-of-type(3) > div > div.newsbottom > ul > li:nth-of-type(8) > a')
for news in newses:
    print(news.get_text())

输出内容为空。

原因

网络上搜索后找到问题的原因，原帖

因为我们复制回来的selector是浏览器上的selector，我们平时在浏览器上看到的都是经过js脚本的加工，所以selector也是经过加工的。而我们程序爬取到的网页并没有经过浏览器加工，所以所需的selector有可能和浏览器上的不一样，也就是为什么我们会得到一个空列表。

解决办法

原帖

尽量使用较短的selector去定位我们的数据，一般复制回来的selector前半部分可以不要，如果还是没办法准确定位，那再往前加。

改为

#div > div.newsbottom > ul > li:nth-of-type(8) > a