[python][project][爬虫] 论文抓取

本文总结了在特定网页上抓取论文的方法。

首先，需求是在以下四个期刊上抓取所有论文列表，找出含有关键字的论文。

期刊1：https://www.osapublishing.org/ol/issue.cfm

期刊2：https://www.osapublishing.org/oe/issue.cfm

期刊3：http://ieeexplore.ieee.org/xpl/mostRecentIssue.jsp?punumber=22

期刊4：http://ieeexplore.ieee.org/xpl/mostRecentIssue.jsp?punumber=50

项目的实现，采用QT Designer+python来实现，将抓取到的论文列表放到listWidget中，并将含有关键字的item改变颜色，双击item可以查看详细信息，并提供论文下载链接。

QT Designer的设计如下：

【主页面】和【双击item之后】

打开网页可以观察到期刊1和2是一个类型，期刊3和4是一个类型。

对于第一种类型，抓取方法如下：

# 设置headers
headers = {'User-agent': 'Mozilla/5.0 (Windows NT 6.2; WOW64; rv:22.0) Gecko/20100101 Firefox/22.0'}
soup = BeautifulSoup(requests.get(url,headers=headers).content, 'html.parser')
#抓取期刊信息
letter_info = soup.find('div', attrs={'class': 'content-module journal-info'})
# 期刊主要作者
primary_editors = letter_info.find('p', attrs={'class': 'primary-editors'}).get_text().strip()
# 期刊其他信息
letter_others_info = letter_info.find('h2').get_text().strip().replace('\n', '..')
letter_others_info = ''.join(letter_others_info.split())
#论文提取
letter_list= soup.find_all('div', attrs={'class': 'media-twbs-body'})
for letter in letter_list:
    #将论文存入字典中，key为论文题目，value为作者、html链接、pdf链接组成的list
    letters_list[letter.find('p', attrs={'class': 'article-title'}).get_text()]=[letter.find('p', attrs={'class': 'article-authors'}).get_text(),'https://www.osapublishing.org'+letter.find('a', attrs={'id': 'link-full'})['href'],'https://www.osapublishing.org'+letter.find('a', attrs={'id': 'link-pdf'})['href']]

对于第二种类型，抓取方法同理，只是需要找到代码的规律：

headers = {'User-agent': 'Mozilla/5.0 (Windows NT 6.2; WOW64; rv:22.0) Gecko/20100101 Firefox/22.0'}
soup = BeautifulSoup(requests.get(url, headers=headers).content, 'html.parser')
letters=soup.find('ul',attrs={'class': 'results'}).find_all('li')
for letter in letters:
    authors=''
    for author in letter.find_all('a',attrs={'class': 'authorPreferredName prefNameLink'}):
        authors=authors+author.get_text()+';'
    authors=''.join(authors.split())
    title=letter.find('a',attrs={'class': 'art-abs-url'}).get_text().replace('\n','')
    letters_list[title]=[authors,'http://ieeexplore.ieee.org'+letter.find('img',attrs={'alt': 'HTML icon'}).parent['href'],'http://ieeexplore.ieee.org'+letter.find('img',attrs={'alt': 'PDF file icon'}).parent['href']]

抓取到的数据，放置在listWidget中，并匹配关键字，对含有关键字的item标记为红色：

#获取关键字的内容
filter=str(self.plainTextEdit.toPlainText())
for key in letters_list:
#将字典的key设置为item，添加到listWidgt中
    self.listWidget.addItem(key)
    if filter in key:
    #判断key值是否包含关键字，并设置颜色
        self.listWidget.item(self.listWidget.count()-1).setTextColor(QColor(225, 0, 0))

另外点击查看html，pdf可以查看原文链接和下载pdf：

#打开浏览器
webbrowser.open(url, new=0, autoraise=True)