抓取一切中文网页文字

做网页内容分类或者NLP研究时，往往需要研究者自己建文本数据集，对模型进行训练。Stallions对抓取中文网页有深度优化，解决构建数据获取中可能遇到的麻烦，是一件不错的利器。
安装：
pip install stallions

注：仅支持python3

使用方式

from stallions import extract

url = "https://www.163.com/"
article = extract(url=url)
# 提取 title
print("title", article.title)
# 提取 h1
print("h1", article.h1)
# 提取 meta_keywords
print("meta_keywords", article.meta_keywords)
# 提取 meta_description
print("meta_description", article.meta_description)
# 提取网页的整个页面内容
print(article.content)

title,h1,keywords,description对网页分类影响较大的标签内容。

在实际工作中，抓取中文会通常遇到两个头疼问题：
1.由于中文网页编码格式不统一，经常会出现网页乱码。
2.页面中