分享知乎上关于爬虫的讨论

http://www.zhihu.com/question/27621722 

自己也写过爬虫，一开始是为了爬美女图供大伙观赏；

然后开始爬新闻，因为觉得每次打开几个技术网站去了解行业动态非常麻烦

爬虫类似一个自动化工具，抓取我们想要的数据；

马云哥哥说，未来是DT时代，数据量爆发式的增长，隐藏在数据后面的价值是无可限量的。