RoboBrowser：轻量级爬虫、自动化测试库

RoboBrowser: Your friendly neighborhood web scraper

这句话是RoboBrowser官方给出的简短介绍，意思“爬东西就跟去邻居串门一样，特别简单友好”

简单来说robobrowser是一个浏览器，没有界面的浏览器（Selenium也是一个浏览器，不过运行时你会看到电脑界面上启动了一个浏览器）。它调用了python的requests和Beautifulsoup库，如果你之前用过这两个库（写爬虫居家生活必备的库，没用过赶紧点击上面的链接看看中文的参考文档），你会觉得RoboBrowser忒简单，真TMD好用。
RoboBrowser可以打开网页，点击链接和按钮并且提交表单。嗯，看上去功能好像不强大，不过如果让你爬需要登录验证的网站时候，先用RoboBrowser登录验证，那么后面你想干啥都可以，爬数据soeasy。
具体可看虫师的博文
还没被玩坏的robobrowser(2)——安装及快速开始
还没被玩坏的robobrowser(3)——简单的spider
还没被玩坏的robobrowser(4)——从页面上抓取感兴趣的内容
还没被玩坏的robobrowser(5)——Beautiful Soup的过滤器
还没被玩坏的robobrowser(6)——follow_link
还没被玩坏的robobrowser(7)——表单操作

关注微信公众号：大邓带你玩转python

大邓带你玩转python

每周有直播哦，扫码即可加入