Python爬虫入门指导

最近很多同学在学习爬虫过程中遇到很多障碍，我总结了一些原因，大多有以下几点：
1、http请求协议不清楚。这里还是强推阮一峰大神的HTTP 协议入门
2、HTML不熟悉，如果想学习爬虫，基本的HTML知识是必不可少的。这里推荐使用w3school的html教程，不要求学的特别深，但至少能够看的懂标签语言，知道属性、定位等概念。
3、python基本语法不扎实。廖雪峰python3教程

现在结合另一位学长的总结，给出一份简单且快速的入门指导。

简单爬虫的实现

首先我先来说一下使用python设计一个简单爬虫的流程：
1、请求函数（requests、urllib），分析网站的请求方式，决定使用那种方法。
2、html解析函数（beautifulsoup、pyquery、json、re），分析获得的html，发现数据或者文本分布规律，选择适合的解析方法进行解析
3、数据存储函数（xlwt、peewee）

括号内也写入了一些爬虫常用的、基本的包
1、requests、urllib是两种不同的请求包，个人认为requests要比urllib好用。
2、beautifulsoup和pyquery是针对html的解析包，如果有jquery经验的同学请考虑使用pyquery。json主要针对返回json数据的网站解析、re则是正则表达式，当上面几种包都无法解析一个html的时候，则会用到，当然，对于某些特定结构的网站来说，使用re要比使用beautifulsoup或者pyquery要方便的多。
3、xlwt是microsoft excel的写入包，可以将数据一边抓取一边写入excel中。peewee则是一种orm框架，能够非常方便的操作数据库（sqlite、Mysql、PostgreSQL等），除了peewee外，还有sqlite3、pymysql等包能够让python直接对数据库进行操作。当然，最简单的保存数据的方法就是使用with open写入txt，但是当要求开发增量式爬虫以及去重的话，数据存储在txt则需要返工。
上面这些包用法以及爬虫的入门都可以在崔庆才老师的个人博客内找到，写得非常细致，但是使用的是python2，和python3有区别，所以不要盲目照搬代码。

如果你掌握了requests、beautifulsoup（或者pyquery）这两种包，那么恭喜你，你已经可以完成一个简单的爬虫了，对于急于上手、证明自己的你，个人推荐去抓取国家社科基金项目数据库（网址百度去吧，我放到这里担心被国家哲学办公室的人打，练手的话简单爬个两三页数据就好），这是我个人第一个抓取的网站。同样后面对多进程或者对多线程爬虫网站感兴趣的话，可以使用这个网站来实验。

进阶

如果对http协议掌握比较的话，已经可以进阶对比较复杂的网站进行抓取了，这里试试民国时期文献数据库（怕你们百度不到），这里就需要你们学会构造headers、values等再发送请求。

这里写图片描述

可以发现这个请求是不是非常复杂？别担心，这些都是使用火狐浏览器插件httpfox抓包得到的，你要做的就是分析每一次请求抓到的包，找到规律，然后修改并构造。httpfox可以自行百度然后在火狐浏览器上安装。

完成了这个网站，基本可以上手新浪微博了，浏览器输入s.weibo.com。在检索栏里输入自己感兴趣的内容，进行挖掘。再难点，可以点击高级检索，输入时间范围等其他约束，再进行挖掘。

更高级的

1、微博爬虫：新浪微博小爬虫
2、加入JS实现动态加载：Python高级爬虫之动态加载页面的解决方案与爬虫代理
3、ip代理：Python爬虫技巧之设置代理IP
4、多进程：Python多进程multiprocessing使用示例
5、 Selenium&WebDriver：和我一起学 Selenium WebDriver（1）——入门篇
6、PhantomJS：python爬虫的最佳实践(五)--selenium+PhantomJS的简单使
此部分涉及另一位学长的编写内容，让他写个博客发表死活不愿意，没法转载只能复制到这

后期

对爬虫开发很熟悉的话，建议可以加上Redis:python redis的安装与使用