爬虫学习资源整理

转载自：https://zhuanlan.zhihu.com/p/25250739

教程一：Python爬虫学习系列教程

这个博主的这个爬虫学习系列教程，很详细啊，从入门到实战、进阶等都有详细的文档介绍，对爬虫感兴趣的小伙伴推荐一看。

教程二：学习网站上的爬虫教程

实验楼的爬虫教程不是太多，但是都有详细的讲解和代码，而且有在线开发环境，对于学习者是非常不错的。其中最喜欢的就是那个 爬豆瓣热门电影的教程 ，因为我自己超喜欢看电影。还有一个 爬美女照片 也挺好的 ，算是福利吧，哈哈。

教程三：GitHub - facert/awesome-spider: 爬虫集合

这是一个收集各种爬虫 （默认爬虫语言为 python）的集合，其中还有蛮多爬虫蛮有趣的，而且每个爬虫都有详细的开源代码以及一些说明讲解，如果想写个爬虫的话，倒是可以参照写写。

教程四：Python爬虫入门教程

这个入门教程主要是简单的介绍如何使用Python的相关模块如urllib2来实现网络爬虫，和刚才介绍的第一个爬虫教程有点类似，不过没有第一个那么系统完善，但是新手也是可以看看的。

------------------

上面是教程，这里介绍一些爬虫软件，不想自己写爬虫的，可以用，较为方便。

1.Java开源Web爬虫分类列表

列表主要是一些开源的WEB爬虫，感兴趣的可以看看。

2.33款可用来抓数据的开源爬虫软件工具

这篇文章对较为知名及常见的开源爬虫软件进行梳理，按开发语言进行汇总。有需求的可以看看。

• 关于这方面，你也可以看看知乎上的这篇文章：GitHub 上有哪些优秀的 Java 爬虫项目？
  
• 说到这里，也可以看看知乎上关于爬虫的话题： 爬虫（计算机网络） - 索引 - 知乎，可以学到很多的。

---------------

爬虫可以做很多有用的事情，方便快捷，同时也可以做很多有趣的事情，分享几个有趣好玩的爬虫教程：

有趣的爬虫一：怎样借助Python爬虫给宝宝起个好名字

最近看到的一篇文章，深深觉得有个程序员爸爸是多门的方便啊，连取名字都可以这么自动化……

有趣的爬虫二：我用爬虫一天时间“偷了”知乎一百万用户，只为证明PHP是世界上最好的语言

这是比较久以前的一篇文章了，也算是比较有趣吧，当时看到后就两个字“佩服”，学PHP的小伙伴可以看看哈。

• 说到有趣，推荐看看知乎上的这个问题：利用爬虫技术能做到哪些很酷很有趣很有用的事情？，发现广大知友果然超厉害的啊，很有趣。

----------------

其他：

Python爬虫：一些常用的爬虫技巧总结

前面介绍的主要是详细的爬虫教程，这篇文章呢，主要是总结一些常用的爬虫技巧的代码，如果经常涉及到写爬虫脚本，都可以直接拿去复用的，很方便。

当然，有爬虫，肯定就有反爬虫啦：

超轻量级反爬虫方案

文章列出的是一种简单的反爬虫方案，可以当做概念示例或者是救急方案，如果需要进一步深化，还需要在其他方面加强才行。