Python爬取计算机领域文献并输出为csv表格

面试的导师是做图像处理的，面试后让我做一个检索近几年图像去雾顶会的程序，并输出成表格，于是我找了https://dblp.uni-trier.de/和http://openaccess.thecvf.com/两个网站进行爬取。

import requests
import re
import csv
from requests.exceptions import RequestException

huiyi = ['CVPR', 'ECCV', 'ICIP', 'ICCV', 'ECCV']  #输入想要搜索的期刊或会议名称
keyword = 'dehazing'                              #搜索关键词
year = 2014                                       #设置检索年份起点

#获取一个网页的所有信息
def Get_html(url):
    try:
        kv = {'User-Agent': 'Mozilla/5.0'}  #设置请求头反爬
        response = requests.get(url=url, headers=kv, timeout=10)
        response.encoding = 'utf-8'
        if response.status_code == 200:     #如果连接正常就返回响应
            return response
        else:                               #否则打印反常状态码
            print('response.status_code =={}'.format(response.status_code))
            return None
    except RequestException:                #其他错误
        return None


#获取每个文章对应的url链接
def Get_urllist(huiyi, keyword):
    huiyi = huiyi
    keyword = keyword
    list = []
    num = []
    for i in range(len(huiyi)):    #遍历每个会议，获取每个会议检索到的文章数
        url = 'https://dblp.uni-trier.de/search?q=' + keyword + '%20venue%3A' + huiyi[i] + '%3A'
        r = Get_html(url)
        num1 = re.findall('data-matches="(.*?)">

, r.text) num.append(num1[0]) for i in range(len(huiyi)): #遍历每个会议，获取每个会议每个文章的xml页面链接 url = 'https://dblp.uni-trier.de/search/publ/inc?q='+keyword+'%20venue%3A'+huiyi[i]+'%3A&h='+num[i]+'&f=0&s=ydvspc' #构建请求url r = Get_html(url) reurls = re.compile('(https://dblp.uni-trier.de/rec/xml/conf/.*?xml)') #正则匹配文章url urls = re.findall(reurls, r.text) for j in urls: list.append(j) #将每篇文章的xml页面链接存储到list列表中 return list #将openaccess文章主页中的pdf下载链接获取出来 def Get_download_url(oaurl): r = Get_html(oaurl) download_url = re.findall('pdf', r.text) #正则匹配pdf免费下载链接 return 'http://openaccess.thecvf.com/'+download_url[0] #如果xml中没有免费源，去openaccess的官网寻找 def Get_oaurl(title,book,year): r = requests.get('http://openaccess.thecvf.com/'+book+year+'.py') oaurl = re.findall('>' + title[:-1] + '', r.text) return 'http://openaccess.thecvf.com/' + oaurl[0] #获取一条文章的信息 def Get_one_infor(url): r = Get_html(url) title = re.findall('', r.text) #获取当前文章标题 authors = re.findall('([^0-9]*?)[0-9]*?', r.text)#获取当前文章作者信息 author = '' for i in range(len(authors)): #将该篇文章的所有作者信息汇总 author = author+'/'+authors[i] books = re.findall('(.*?)', r.text) #获取当前文章期刊名称 years = re.findall('(.*?)', r.text) #获取当前文章年份信息 oaurl = re.findall('(.*?)', r.text) #获取当前文章是否有免费下载途径 eeurl = re.findall('(.*?)', r.text) #获取当前文章付费下载链接 if len(oaurl): # 如果有免费的，用免费 download_url = '[免费]' + Get_download_url(oaurl[0]) else: #如果没有免费的，在oa官网找 if books[0]+years[0] in ['ICCV2019','ICCV2017','ICCV2015','WACV2020']: try: oaurl2 = Get_oaurl(title[0],books[0],years[0]) download_url = '[免费]' + Get_download_url(oaurl2) except: #官网中没有该文章，切付费 download_url = '[付费]' + eeurl[0] else: #官网中没有该会议，切付费 download_url = '[付费]' + eeurl[0] infor = [title[0], author, books[0], years[0], download_url]#当前文章信息汇总 return infor #主程序开始 if __name__ == '__main__': j = 0 url_list = Get_urllist(huiyi, keyword) #获取所有满足条件文章的url #创建csv文件并填写表头 with open(file=keyword + '.csv', mode='a', encoding="gbk", newline='')as f: writer = csv.writer(f) writer.writerow(['标题','作者','会议','年份','下载链接']) f.close() for url in url_list: #遍历每篇文章 infor = Get_one_infor(url) if int(infor[3])>year: #只看year年以后的 j = j + 1 #当前条数 with open(file=keyword+'.csv', mode='a', encoding="gbk", newline='')as f: #信息存储在csv文件中 writer = csv.writer(f) writer.writerow(infor) f.close() print('第{}条数据加载完成'.format(j)) #当前论文信息加载完成 print('全部加载完成')

输出结果