Web of science以及中国知网学术论文爬取教程（附代码）

最近又做了爬取知网以及web of science的工作，因此记录在这里。（话说这几天简直是要类吐血，之前看的论文累得全忘光光了，还得捡一下)
本期教程以关键词摘要的爬取为例。

Web of Science

首先爬这个你得需要有WOS的账号，不然就可以放弃了，试试去爬开源的学术资源，比如Aminer，谷歌学术啥的吧。因为疫情在家，使用必须输入学校的账号才可以登录，因此在爬取的时候Keep alive并且保存Cookie很重要。当然，爬数据的时候也不能漫无目的地爬，因此需要整一个检索的公式。我就以高级检索为例子了。

然后点击检索，发现居然还有几百条返回结果？？？？fxxk这个词真的适合学术论文吗？点击那个362的< a>标签：


由于WOS是不通过更改状态栏的URL进行的js请求，因此还需要解析网络情求，在浏览器里右键->检查就可以了（我用的是Google），这样request Header里的东西就是你需要在爬虫里填充的了：

然后再往下翻翻，能看到一堆请求参数（激活windows请忽略哈）。其中最重要的是SID参数，这个东西在cookies里也可以见到，可能是Search ID的缩写？俺也不太清楚。

好接下来就是紧张刺激的爬虫编写阶段了。其中几个变量需要额外注意：params，这个就是上个图中params的字典。Header，实际操作中发现Reference并没有啥用，就注释掉了，注意Cookies改成当前的。然后page是返回结果的分页数，每页默认10条论文数据。然后就可以使用bs4解析获取到的页面了。当然，有时候WOS会封禁你的IP，导致大量的数据爬去失败，所以尽量做一个能接着上次爬的程序：

def get_papers(pages, Ts, wf):
    docs = range(1,11)
    for page in [pages]:
        for doc in docs:
            try:
                params = {'product': 'UA',
                          'search_mode': 'AdvancedSearch',
                          'qid': '1',
                          'SID': '6BEGcONYvx9UwsFqcjJ',
                          'page': page,
                          'doc': doc+10*page}
                headers = {'Connection': 'keep-alive',
                           'Cache-Control': 'max-age=0',
                           'Upgrade-Insecure-Requests': '1',
                           'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36',
                           'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
                           'Sec-Fetch-Site': 'same-origin',
                           'Sec-Fetch-Mode': 'navigate',
                           'Sec-Fetch-User': '?1',
                           'Sec-Fetch-Dest': 'document',
                           # 'Referer': 'https://s.jlu.edu.cn/http/77726476706e69737468656265737421f1e7518f69276d52710e82a297422f30a0c6fa320a29ae/summary.do?product=UA&doc=1&qid=1&SID=5DBpNAh2XO1RiRuktE5&search_mode=AdvancedSearch&update_back2search_link_param=yes',
                           'Accept-Language': 'zh-CN,zh;q=0.9',
                           'Cookie': 'remember_token=cGomHwzZHlXaNRRaojffCTmArGaQSybzZmZmgbwMRHwdDFZcsgQLPPfyvXWGGoWX; wengine__ticket=b96dc49f3eda90d9; refresh=0'}

                url = 'https://s.jlu.edu.cn/http/77726476706e69737468656265737421f1e7518f69276d52710e82a297422f30a0c6fa320a29ae/full_record.do'
                htm1 = requests.get(url, headers=headers, params=params, verify=False)
                soup = BeautifulSoup(htm1.text, 'html.parser')
                title = soup.find('div', attrs={'class':'title'}).text
                if title not in Ts:  # 已经爬取过的文章跳过
                    abstract = soup.find('div', text='摘要').find_next().text
                    keywords = soup.find('div', text='关键词').find_next().text
                    journal = soup.find('span', attrs={'class':'hitHilite'}).text
                    print(page, doc, title, sep='    ')
                    wf.write("".join([title, abstract, keywords, journal]).replace('\n','')+'\n')
            except:
                traceback.print_exc()
                time.sleep(3)
                continue

get_paper是获取论文标题摘要和关键词的数据，并要写入txt文件。为了防止因为网络原因中断，所以除了pages参数外，还有Ts（所有已经爬取的论文数），wf需要写入的文件，在写的时候判断是否已经爬过这个数据了，如果爬过就跳过。
然后接下来得读取Ts呀，很简单的读取方法：

def check_titles():    # 判断当前爬取的论文是否已经存在，存在则跳过
    Ts = []
    files = os.listdir('Results')
    for file in files:
        with open('Results/'+file, 'r', encoding='utf-8') as rf:
            Ts.extend([line.strip().split('')[0] for line in rf.readlines()])
    print('已经爬取：', len(Ts))
    return Ts

然后为了加速，做了一个简单的多线程，但是线程太多就会被封IP，大家自己调一调哦，封了IP等一会就好了（6个没啥问题吧）。其中，每个线程调用一个不同的get_papers方法，爬取不同page的数据。

if __name__ == '__main__':
    id = 7
    # genarate_command(id)
    Ts = check_titles()
    threads = []    # 存放多线程
    all_pages = int(2933/10) + 1
    wf = open('Results/{}.txt'.format('journal'+str(id+1)), 'a', encoding='utf-8')
    for i in range(100, all_pages):
        threads.append(threading.Thread(target=get_papers, args=(i,Ts,wf)))
    num = 0
    while num <= len(threads):
        if threading.activeCount() <= 6:   # 最大线程数小于6
            threads[num].start()
            num += 1
        else:
            time.sleep(10)    # 否则我休眠一百秒去执行线程

当然，实在是经常被封IP还可以用下一个策略：Selenium。这个就是实打实的浏览器访问，因此不会被封，但是十分之慢…因此就不介绍了

中国知网

我贼喜欢中国知网，因为数据太好爬了。但是大家爬数据要秉着学术研究的目的，别做别的，爬虫学得好，牢饭吃到饱。
这次我以期刊为范围，进行期刊的爬取。比如“管理世界”，知网中的期刊对应了不同的缩写，比如管理世界就是“GLSJ”，而且显示地出现在URL里了，也不用我额外去解析：http://navi.cnki.net/KNavi/JournalDetail?pcode=CJFD&pykm=GLSJ
然后我在期刊内检索关键词“创新创业”:

然后还是找到response对应的请求头，咱一个一个解析参数：

参数	含义
pcode	我也不是很清楚啊哈哈
baseId	期刊名字
where	检索字段，应该表示主题
searchText	检索框内输入的关键词
orderby	RT，看起来是根据相关性的排序
ordertype	DESC，熟悉MySQL的同学应该都知道，倒序排序嘛，ASC正序
pageIndex	0，检索返回结果的第一页
pageSize	50，每页50条记录

其中，%28SU%25%27%7B0%7D%27%29应该是被编码的检索字段，随便找个在线解码器看看，这个SU应该是知网中表示主题的代码；%E5%88%9B%E6%96%B0%E5%88%9B%E4%B8%9A解码就是对应创新创业这个检索词了。

然后，再看看request URL：

这样完全就可以根据参数自己编写请求头了。接下来还是直接看代码。首先，我要抓取检索结果中的所有论文的URL，因为知网的检索结果论文每个都有固定的id，不像是WOS返回的连接是动态生成的…把每个结果paper的link存起来：

header={'Connection':'Keep-Alive',
                 'Accept':'text/html,*/*',
                 'User-Agent':'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.66 Safari/537.36',
        'Content-Type':'application/x-www-form-urlencoded; charset=UTF-8',
        # 'Referer':'http://navi.cnki.net/KNavi/JournalDetail?pcode=CJFD&pykm=GLSJ',
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'
        # 'Cookie': 'Ecp_ClientId=2200210174601303834; RsPerPage=20; cnkiUserKey=814a1a67-effa-b5af-9db6-3b38894d2622; Ecp_IpLoginFail=200602125.223.253.2; ASP.NET_SessionId=qudz13gpalld1xpiq2antz3w; SID_kns=123105; SID_klogin=125143; SID_crrs=125132; KNS_SortType=; _pk_ref=%5B%22%22%2C%22%22%2C1591103026%2C%22https%3A%2F%2Fwww.cnki.net%2F%22%5D; _pk_ses=*; SID_krsnew=125134; SID_kns_new=kns123117'
        }
params = {
    'pcode': 'CJFD',
    'baseId': 'GLSJ',   # 需要根据期刊修改
    'where': '%28SU%25%27%7B0%7D%27%29',   # 不要修改
    'searchText': '创业研究',   # 根据检索关键词修改
    'condition':'',
    'orderby': 'RT',
    'ordertype': 'DESC',
    'scope':'',
    'pageIndex': 0,   # 在遍历的时候修改,0表示第一页
    'pageSize': 50   #
}
def get_search_page_link():
    with open('./links.txt', 'a', encoding='utf-8') as wf:
        for journal in journal_code:
            print(journal)
            for keyword in keywords:
                print(keyword)
                params['baseId'] = journal
                params['searchText'] = keyword
                path = 'http://navi.cnki.net/knavi/JournalDetail/GetArticleDataXsltByInternalSearch'
                print(path)
                htm1 = requests.get(path, headers=header, params=params)
                soup = BeautifulSoup(htm1.text, 'html.parser')
                links = soup.find_all('td', attrs={'class':'name'})
                for link in links:
                    href = link.find('a')
                    if href:
                        href = href['href']
                        wf.write(href.strip()+'\n')
                        wf.flush()
                        print(href.strip())
                time.sleep(0.5)
            time.sleep(2)
get_search_page_link()

可以看看paper的href：Common/RedirectPage?sfield=FN&dbCode=CJFD&fileName=GLSJ202005008&tableName=CJFDAUTO&url=
其中，GLSJ202005008就是论文的id咯。然后我们把这个id替换到具体的检索论文的URL中：
https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CJFD&fileName=GLSJ202005008
就可以跳转到论文的详细信息页了。get_papers用于获取论文的具体信息，注意写入文件的时候需要flush，不然数据就在缓冲区中并没有真正写入。

def get_papers():
    file = open('./papers.txt', 'a', encoding='utf-8')
    with open('./links.txt', 'r', encoding='utf-8') as rf:
        for line in rf.readlines():
            name = re.findall('&fileName=.+?&', line.strip())[0]
            url = 'https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CJFD'+name[:-1]
            print(url)
            htm1 = requests.get(url)
            soup = BeautifulSoup(htm1.text, 'html.parser')
            title = soup.find('title').text.strip()
            abstract = soup.find('span', attrs={'id':'ChDivSummary'})
            if abstract is None:
                abstract = ''
            else:
                abstract = abstract.text.strip()
            keyword = soup.find('label', attrs={'id':'catalog_KEYWORD'})
            ks = []
            if keyword is not None:
                keyword = keyword.parent.find_all('a')
                for word in keyword:
                    ks.append(word.text.strip())
                ks = ''.join(ks)
            else:
                ks = ""   # 没有关键词
            print(title, url)
            file.write(''.join([title,abstract,ks])+'\n')
            file.flush()
            time.sleep(0.5)
    file.close()
get_papers()

看看结果：