什么是网络爬虫

爬虫的实际例子:

1.搜索引擎(百度、谷歌、360搜索等)。
2.伯乐在线。
3.惠惠购物助手。
4.数据分析与研究(数据冰山知乎专栏)。
5.抢票软件。
6.自动化操作。(自动化关注,评论,回复)。

什么是网络爬虫:

1.通俗理解:爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页、并数据抓取下来,然后使用一定的规则提取有价值的数据。
2.专业介绍:百度百科。

通用爬虫和聚焦爬虫:

1.通用爬虫:通用爬虫是搜索引擎抓取系统(百度、谷歌、搜狗等)的重要组成部分。主要是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份。
2.聚焦爬虫:是面向特定需求的一种网络爬虫程序,他与通用爬虫的区别在于:聚焦爬虫在实施网页抓取的时候会对内容进行筛选和处理,尽量保证只抓取与需求相关的网页信息。

为什么用Python写爬虫程序:

1.PHP:PHP是世界是最好的语言,但他天生不是做这个的,而且对多线程、异步支持不是很好,并发处理能力弱。爬虫是工具性程序,对速度和效率要求比较高。
2.Java:生态圈很完善,是Python爬虫最大的竞争对手。但是Java语言本身很笨重,代码量很大。重构成本比较高,任何修改会导致代码大量改动。爬虫经常要修改采集代码。
3.C/C++:运行效率是无敌的。但是学习和开发成本高。写个小爬虫程序可能要大半天时间。
4.Python:语法优美、代码简洁、开发效率高、支持的模块多。相关的HTTP请求模块和HTML解析模块非常丰富。还有Scrapy和Scrapy-redis框架让我们开发爬虫变得异常简单。

开发准备环境与工具:

1.Python3.6.5开发环境。(推荐使用Anaconda3-5.2.0,已包含有Python3.6.5开发环境,还有很多开发用的依赖包,比如网络请求用到的requests)
anaconda python 版本对应关系

什么是网络爬虫_第1张图片
image

首先解释一下上表。 anaconda在每次发布新版本的时候都会给python3和python2都发布一个包,版本号是一样的。

假设你想安装python3.6.5,就去下载anaconda3-5.2.0;

假设你想安装python2.7.14,就去下载anaconda2-5.2.0

Anaconda各个版本的下载地址:清华镜像源

2.Pycharm最新开发工具。
Pycharm永久破解激活2018版本(亲测可用)

3.虚拟环境。virtualenv/virtualenvwrapper
Pipenv--最好用的python虚拟环境和包管理工具

下一篇:什么是http和https协议

你可能感兴趣的:(什么是网络爬虫)