Python爬虫根据关键词爬取知网论文摘要并保存到数据库中【入门必学】

Python爬虫根据关键词爬取知网论文摘要并保存到数据库中【入门必学】_第1张图片

由于需要一些语料做研究,语料要求是知网上的论文摘要,但是目前最新版的知网爬起来有些麻烦,所以我利用的是知网的另外一个搜索接口

比如下面这个网页:
http://search.cnki.net/Search.aspx?q=肉制品

搜索出来的结果和知网上的结果几乎一样

在这个基础上,我简单看了些网页的结构,很容易就能写出爬取得代码(是最基础的,相当不完善,增加其他功能可自行增加)

Python爬虫根据关键词爬取知网论文摘要并保存到数据库中【入门必学】_第2张图片

网页的结构还是很清晰的

Python爬虫根据关键词爬取知网论文摘要并保存到数据库中【入门必学】_第3张图片

摘要信息也很清晰

我使用的是 pymysql 连接的数据库,效率也还可以
下面直接贴代码:

在学习过程中有什么不懂得可以加我的
python学习扣扣qun,784758214
群里有不错的实战教程、开发工具与电子书籍
与你分享python企业当下人才需求及怎么从零基础学习好python,和学习什么内容

# -*- coding: utf-8 -*-
i

你可能感兴趣的:(python,数据库,数据挖掘,mysql)