python-59: 基础篇完

经历了这漫长的时间，我们的基础篇终于讲完了，来说几个问题

1. 基础篇主要讲了什么

基础篇我们主要是使用urllib,urllib2和cookielib这几个库来讲解爬虫的几个实例，为什么要选择这几个库呢？因为这是python自带的库函数，我在学习的时候觉得它不是很好用，同样的功能，使用其他的库函数的话过程会简单很多，但是，这个库能让我们很好的理解爬虫的一些过程，了解一些基本的原理，而这些知识在后面更深入的学习中是很重要的，所以我选择了这几个库来进行学习

我们的基础篇从python的基础知识开始，然后了解爬虫的基本知识，学习最简单的爬虫程序，然后开始进入到四个实例的讲解，首先是访问网页获取一些我们想要的信息，然后将喜欢的信息下载到本地，后来发现很多的网站是需要登录才能进行爬取的，所以我们又学习了怎么模拟登录，模拟登录之后，又加上了对验证码机制的处理方法，整个过程是循序渐进的，很庆幸最终能将它们写完

2. 学完基础篇我们能干什么

学完基础篇觉得也不是很难，所以可能会有疑问，学完基础篇我们能干什么？

首先要明确一个概念，爬虫可以做什么，你可能说爬虫可以爬取网页，可以帮我们登录网站，但是我们做的这一切事情最终都是一个目的：获取数据。数据这个概念是近几年提出来而且也越来越火的一个概念，我虽然没接触过什么大数据，但是我也有自己想得到的数据，比如我喜欢看漫画，但是我不能总是在网页上看，生活中没有网络的情况多得是，所以我希望能把这些漫画下载到本地，既可以很方便的看，也可以拿来收藏存档什么的，我现在就可以使用我们前面学到的知识来实现这个想法，或者说，我喜欢玩LOL，我经常会看一些视频来学习，但是我觉得官网上的布局不是很合理，我想要重新弄一个自己用得顺手的工具，我也可以使用爬虫从官网上下载这些视频或者是网页链接，然后我自己设计一个网页或者是应用程序，来达到我的目的，或者对于男生来说，经常喜欢一些小图片，小电影，爬虫同样能够让你实现这些想法，当然，爬虫可以做的事情还不仅仅是这些，我觉得不应改局限或者拘泥于一些空间，世界那么大，为什么不试着爬爬看

说到这里，我想起一个事情，绝大多数的人在学习完编程基础之后都会问一个问题，我刚学完python基础，我能够做什么，或者说有没有什么比较简单的项目来练手，我之前也是这样的，但是，某天看到一句话完全改变了我的想法，大意是这样的，学习完基础之后你可以重复一些很多人做过的事情，比如写个记事本，写个播放器什么的，但是，最好的情况应该是，做一些方便自己也方便别人的工具，所以在我平时的工作生活中，我开始留意一些事情，比如，这个记事本怎么这么难用啊，这个操作为什么只能使用命令执行，好麻烦，然后，我就真的发现很多需要改变的地方，而且，我也开始试着使用编程去实现一些功能，让自己的生活更方便，目前我只能做到一半，我还没有能力达到方便别人的地步，但是至少我可以用自己所学的知识来帮助自己实现一些想法，这总比做数学题强多了

3. 接下来我们学习什么

python有很多的库，或者说，模块，我们前面学习的只是很小很小的一部分，所以我们接下来将会学习另外的一些库，这些库是为了我们更简单更高效的实现某些功能而设计出来的，这些就是方便自己也方便别人的工具，至于要学习什么库，我将会在下一篇把python 爬虫的一些有用的库列举出来，然后选择感兴趣的库去学习，但是，前面的基础篇为了讲解一些http的基础知识或者是一些基本的概念，我们花了太多时间，以致于关于python的一些知识，我们都没能够进行讲解，所以在接下来的内容里，我希望能把我们的代码弄得好看一些，因为python本身就是一门很优雅的语言，当然，其他的知识我们还是会尽量多的给大家讲解

4. 写到这里的感想

这里主要想讲一些事情，姑且叫做学习方法吧

我前面看的是郝斌老师的一套视频，是C语言的，他里面有几个学习的模式我很喜欢，这也体现在我前面的文章里

1. 问问题，起初我发现他讲的内容很有条理性，让我听着很舒服，后面我慢慢的意识到，他在讲解每个知识点的时候，都遵循着一个流程，叫什么？是什么？做什么？怎么用？，这是他的一个大致固定的流程，然后我试着把这个流程套用到我的工作中，我发现这可以给我提高一些效率，当然，随着事情的不同，问题也不尽相同，但是这种方式还是很好的
   

2. 验证某个功能的时候流程尽量简单，大家看我前面写的也可以看出来，我在验证某些问题的时候，会把所有不相关的东西去掉，然后单独实现这个功能，验证成功之后再把功能加进去，这是避免一些不必要的错误和麻烦的好方法，调试5行代码总比调试50行代码要简单得多

3. 使用已经学的知识去推理或者验证某些东西，像前面的cookies的比较中，我使用到的全部都是已经学习的知识，不同只是把一些数据输出出来而已，但是我们还是可以验证我们的想法，同时，也巩固了我们前面的知识