Python爬虫所需要的包

Python爬虫所需要的包

爬虫所使用到的包

语法: pip3 install module_name

Python包

Python包 注释
re 用于正则表达式
requests http请求
selenium 解决JS的渲染问题
phantomJS 无界面浏览器,可以执行JS代码
lxml、beautifulsoup4 页面解析
pyquery 语法类似于Jquery
pysql mysql包
redis 非关系型数据库
flask
django
jupyter 在线noebook,可执行python代码
pymongo 工具:Robomongo MongoDB:https://www.mongodb.com/

你可能感兴趣的:(WebCrawler)