[Python]从Web解析到网络空间(一些第三方库的简要介绍))

Python库之网络爬虫

http://www.python-requests.org/
Requests:最友好的网络爬虫功能库
提供了简单易用的类HTTP协议网络爬虫功能,支持连接池,SSL、Cookies、HTTP(S)代理等。是Python最主要的页面级网络爬虫功能库。

https://scrapy.org
Scrapy:优秀的网络爬虫框架,提供了构建网络爬虫系统的框架功能,功能半成品。支持批量和定时网页爬取,提供数据处理流程等。是Python最主要且最专业的网络爬虫框架。Python数据分析高层次应用库。

http://docs.pyspider.org
pyspider:强大的Web页面爬取系统,提供了完整的网页爬取系统构建功能。支持数据库后端、消息队列、优先级、分布式架构等。Python重要的网络爬虫类第三方库。

Python库之Web信息提取

https://www.crummy.com/software/BeautifulSoup/bs4
Beautiful Soup:HTML和XML的解析库,提供了解析HTML和XML等Web信息的功能。又名beautifulsoup4或bs4,可以加载多种解析引擎,常与网络爬虫库搭配使用,如Scrapy、requests等。

https://docs.python.org/3.6/library/re.html
Re:正则表达式解析和处理功能库,提供了定义和解析正则表达式的一批通用功能,可用于各类场景,包括定点的Web信息提取。Python最主要的标准库之一,无需安装。

Python-Goose:提取文章类型Web页面的功能库,提供了对Web页面中文章信息/视频等元数据的提取功能,针对特定类型Web页面,应用覆盖面较广,Python最主要的Web信息提取库。

Python库之Web网站开发

https://www.djangoproject.com
Django:最流行的Web应用框架,提供了构建Web系统的基本应用框架。MTV模式:模型(model)、模板(Template)、视图(Views)。
Python最重要的Web应用框架,略微复杂的应用框架。

https://trypyramid.com/
Pyramid:规模适中的Web应用框架,提供了简单方便构建Web系统的应用框架,不大不小,规模适中,适合快速构建并适度扩展类应用,Python产品级Web应用框架,起步简单可扩展性好。

Python库之网络应用开发

http://flask.pocoo.org
Flask:提供了最简单构建Web系统的应用框架,特点是简单,规模小,快速。Django>Pyramid>Flask

https://github.com/offu/WeRoBot
WeRoBot:微信公众号开发框架,提供了解析微信服务器消息及反馈消息的功能,建立微信机器人的重要技术手段。

https://github.com/Baidu-AIP/python-sdk
aip:百度AI开放平台接口,提供了访问百度AI服务的Python功能接口,语音、人脸、OCR、NLP、知识图谱、图像搜索等领域。Python百度AI应用的最主要方式。

https://github.com/sylnsfar/qrcode
MyQR:二维码生成第三方库。提供了生成二维码的系列功能,基本二维码、艺术二维码和动态二维码。

你可能感兴趣的:([Python]从Web解析到网络空间(一些第三方库的简要介绍)))