60小时Python爬虫学习：从100行数据到10W+数据

这是我Python爬虫学习第31天笔记

从4月30号开始，我每天学习Python、写代码、爬取数据。先看一下学习成果。

一、一个月写了18篇文章：

Python学习笔记

**一个月共写了18篇文章，16998字。阅读量 7295, 评论 90, 喜欢 378, 打赏 0 **（其中8篇文章上了首页）。
目录如下，
随便说一下，这些数据的统计和目录列表的生成都是Python爬虫实现的，方法见这篇文章：《连载作者福音: 一键生成连载目录和连载作品排行统计（Python爬虫应用》。

---

Scrapy用Cookie实现模拟登录
Srcapy+Redis+mongodb实现一个爬虫中遇到的问题
Scrapy+Mongodb爬取数据
BeautifulSoup提取内容的小技巧
Mongodb基本命令
连载作者福音: 一键生成连载目录和连载作品排行统计（Python爬虫应用）
连载作品龙虎榜: 一个爬虫的应用
Python中小知识点汇总
Scrapy爬取用户url分析
使用Scrapy爬取大规模数据
Python爬虫框架Scrapy快速入门
XPath提取多个标签下的text
Python爬虫学习：签约作者知多少？
用Python玩转QQ群论坛
爬虫搜索神器BeautifulSoup和XPath 的使用
成长会不完全大数据-Python爬虫案例
当我们学Python时，我们学什么？
10行代码完成一个爬虫，就这么简单

---

二、一次爬取数据达到10W+

一个月的时间，爬取过的站点有：知笔墨、QQ群论坛、58赶集、前程无忧、。爬取的数据有：首书热门(七日热门、三十日热门)，爬取找出签约作者，赶集、58简历库简历筛选，作者信息(文章数、字数、关注数、粉丝数、阅读数、喜欢数、打赏数、评论数)。

从一开始的爬取首页热门数据99条，到昨天爬取用户信息超过11W。从一开始用Excel, csv保存下载数据，到现在用mongdb存储。

30日热门数据

数据超过10W时

爬虫成功访问了41W页，获取数据119,700条

三、学习掌握了这些内容

到现在为止涉及和掌握的内容: urllib, urlib2, requests, xlrd, xlwt, re, BeautifulSoup, XPath, Scrapy, mongodb, Redis

这些都是从一个Dome的10多行代码开始拆解、分析、模仿开始，就这样一步步迭代的方式来学习。

四、总结一下学习方法

1. 项目和问题驱动
   Python爬虫的学习，我没有按部就班地拿一本Python入门的书开始系统地学习，一个个知识点的来过，而是围绕想解决的问题，想实现的功能，一步步解决问题的方式推进。你可以看到，好几篇文章中我是先实现了一个功能，再总结过程中遇到了哪些问题，是怎么解决的，又遇到了什么问题，就记下来，先存疑。

   《连载作者福音: 一键生成连载目录和连载作品排行统计（Python爬虫应用）》这篇文章，就是看到上的统计连载作品排行时，手工统计太麻烦，就用Python爬虫来解决。还有工作中一些简历筛选，我也用爬虫处理了。

2. 高频度集中学习
   每天2小时，首先找一个安静的学习环境，远离舒适区，一般选择下班后的办公室或图书馆。学习中间没有任何打扰，不浏览网页、不看IM信息。

当我学到30天时，有一些简友加我，问我Python学习中的问题，居然还有Python程序员，一方面不禁感叹Python内容真广，另一方面我Python学习效果非常明显。我也在上遇到从事数据分析的简友，所以我又开了一个专题《Python数据分据》。