python爬虫常用库介绍

python自带urllib、re

requests  用于发送request并接受response

selenium  用于驱动浏览器,一些JS渲染的网页用requests不能正常获取,要用这个来模拟浏览器,获得渲染后的网页内容。

selenium需要配合chrome driver或phantomjs使用。前面的会驱动一个chrome浏览器,后面的是一个无界面浏览器。

lxml  提供了xpath解析方式

beautifulsoup4  依赖于lxml,也用于网页解析

pymysql  用于操作mysql数据库

pymongo  用于操作mongoDB数据库

redis  用于操作redis数据库

flask  是一个web框架,用于代理信息的获取和存储

django   一个web框架,用于做一个管理系统,管理分布式爬虫和主机信息

你可能感兴趣的:(python爬虫常用库介绍)