GNE v0.1 正式发布： 4 行代码开发新闻网站通用爬虫

1.简单使用方式

GNE的输入是经过js渲染后的HTML代码，所以GNE往往需要配合selenium或Pyppeteer 使用。
安装GNE：pip install gne
使用简单案例：

from gne import GeneralNewsExtractor
extractor = GeneralNewsExtractor()
html = '网站源代码'
result = extractor.extract(html)
print(result)

GNE配合selenium实现的一个小demo

import time
from gne import GeneralNewsExtractor
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.toutiao.com/a6766986211736158727/')
time.sleep(3)
extractor = GeneralNewsExtractor()
result = extractor.extract(browser.page_source)
print(result)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-teb7UuDe-1578816180217)(https://kingname-1257411235.cos.ap-chengdu.myqcloud.com/2020-01-01-17-51-47.png)]

2.功能特性

2.1 获取正文源代码

在extract()方法只传入网页源代码，不添加任何额外参数时，GNE 返回如下字段：

• title：新闻标题
• publish_time：新闻发布时间
• author：新闻作者
• content：新闻正文
• images: 正文中的图片（相对路径或者绝对路径）

可能有些朋友希望获取新闻正文所在标签的源代码，此时可以给extract()方法传入with_body_html参数，设置为 True：

extractor = GeneralNewsExtractor()
extractor.extract(html, with_body_html=True)

返回数据中将会增加一个字段body_html，它的值就是正文对应的 HTML 源代码。

运行效果如下图所示：

2.2 总是返回图片的绝对路径

默认情况下，如果新闻中的图片使用的是相对路径，那么 GNE 返回的images字段对应的值也是图片相对路径的列表。

如果你想始终让 GNE 返回绝对路径，那么你可以给extract()方法增加host参数，这个参数的值是图片的域名，例如：

extractor = GeneralNewsExtractor()
extractor.extract(html, host='https://AhriLove.top')

这样，如果新闻中的图片是/images/pic.png，那么 GNE 返回时会自动把它变为https://AhriLove.top/images/pic.png。

2.3 指定新闻标题所在的 XPath

GNE 预定义了一组 XPath 和正则表达式用于提取新闻的标题。但某些特殊的新闻网站可能无法提取标题，此时，你可以给extract()方法指定title_xpath参数，用于提取新闻标题：

extractor = GeneralNewsExtractor()
extractor.extract(html, title_xpath='//title/text()')

2.4 提前移除噪声标签

某些新闻下面可能会存在长篇大论的评论，这些评论看起来比新闻正文“更像”正文，为了防止他们干扰新闻的提取，可以通过给extract()方法传入noise_node_list参数，提前把这些噪声节点移除。noise_node_list的值是一个列表，里面是一个或多个 XPath：

extractor = GeneralNewsExtractor()
extractor.extract(html, noise_node_list=['//div[@class="comment-list"]', '//*[@style="display:none"]'])

2.5使用配置文件

API 中的参数 title_xpath、 host、 noise_node_list、 with_body_html除了直接写到 extract() 方法中外，还可以通过一个配置文件来设置。
请在项目的根目录创建一个文件 .gne，配置文件可以用 YAML 格式，也可以使用 JSON 格式。

• YAML格式配置文件

title:
   xpath: //title/text()
host: https://www.xxx.com
noise_node_list:
   - //div[@class=\"comment-list\"]
   - //*[@style=\"display:none\"]
with_body_html: true

• json格式配置文件（习惯性用json）

{
   "title": {
       "xpath": "//title/text()"
   },
   "host": "https://www.xxx.com",
   "noise_node_list": ["//div[@class=\"comment-list\"]",
                       "//*[@style=\"display:none\"]"],
   "with_body_html": true
}

3.FAQ

GeneralNewsExtractor(以下简称GNE)是爬虫吗？

GNE不是爬虫，它的项目名称General News Extractor表示通用新闻抽取器。它的输入是HTML，输出是一个包含新闻标题，新闻正文，作者，发布时间的字典。你需要自行设法获取目标网页的HTML。

GNE 现在不会，将来也不会提供请求网页的功能。

GNE支持翻页吗？

GNE不支持翻页。因为GNE不会提供网页请求的功能，所以你需要自行获取每一页的HTML，并分别传递给GNE。

GNE支持哪些版本的Python？

不小于Python 3.6.0

我用requests/Scrapy获取的HTML传入GNE，为什么不能提取正文？

GNE是基于HTML来提取正文的，所以传入的HTML一定要是经过JavaScript渲染以后的HTML。而requests和Scrapy获取的只是JavaScript渲染之前的源代码，所以无法正确提取。

另外，有一些网页，例如今日头条，它的新闻正文实际上是以JSON格式直接写在网页源代码的，当页面在浏览器上面打开的时候，JavaScript把源代码里面的正文解析为HTML。这种情况下，你在Chrome上面就看不到Ajax请求。

所以建议你使用Puppeteer/Pyppeteer/Selenium之类的工具获取经过渲染的HTML再传入GNE。

GNE 支持非新闻类网站吗（例如博客、论坛……）

不支持。

4.关于 GNE

GNE 官方文档：https://generalnewsextractor.readthedocs.io/

GNE 的项目源代码在：https://github.com/kingname/GeneralNewsExtractor。