python爬虫知识梳理——requests库的使用
requests库是如此的简洁好用，以至于爬虫神器。
我也用过urllib2，保持了python的文件操作的接口，使用操作过文件、数据库之类的，使用urllib2会感到很熟悉，但是不可否就是繁琐。
我也用过scrapy，高度抽象了爬虫的编写流程，以框架的形式提供，讲道理，在我用习惯了requests之后，每次想要尝试scrapy都半途而废。
requests的使用手册有官方文档，支持中文，链接直达
在这里只说一下常用的两个请求函数，get、post
resp = requests.get("https://www.baidu.com")
resp = requests.post("https://www.baidu.com", data={"hello": "world"})
是不是惊呆了！
其实get和post函数的参数有很多，可以定制请求头、可以携带cookie，可以指定代理，等等等，在应付反爬虫的时候可以说是又灵活有强大
新开公众号“码家村”，欢迎关注