Python爬虫学习2-爬虫做什么

网络爬虫可以让我们从网上得到我们想要的数据:Internet is database。
网络爬虫可以由许多方法实现。
目前最常用的是requests+beautifulsoup或者使用Scrapy框架。
Scrapy是基于twisted的,方便扩展而且可以把requests+beautifulsoup集成到爬虫中,不过使用scrapy内置的css和xpath selector也非常方便。后者的速度更快,如果只是简单应用可以使用前者。

网页分类

1、静态网页
2、动态网页(ajax等)
3、webservice(Restapi)

爬虫作用

1、如百度、谷歌等搜索引擎
2、推荐型网站
3、机器学习样本
4、数据分析(如用户、金融分析)

你可能感兴趣的:(Python爬虫学习2-爬虫做什么)