python3+scrapy框架爬虫实践

爬虫的作用与意义：大数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。”人们对于海量数据的挖掘和运用越来越密切，预示着爬虫工作者已经成为互联网数据公司的关键性职位，他们不但要精通数据抓取和分析，还要掌握搜索引擎和相关检索的算法，对内存、性能、分布式算法都要有一定的了解，并针对工作进程编排合理的布局。依据数据来预测某一种事物未来的发展趋势，以及对应的风险，提早解决未来即将遇到的风险，防范于未然

scrapy框架概述：Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

了解scrapy爬虫原理：Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下：

总结-scrapy大概流程如下：

1. 引擎从调度器中取出一个链接(URL)用于接下来的抓取     

2. 引擎把URL封装成一个请求(Request)传给下载器   

 3. 下载器把资源下载下来，并封装成应答包(Response)     

4. 爬虫解析Response     

5. 解析出实体（Item）,则交给实体管道进行进一步的处理     

6. 解析出的是链接（URL）,则把URL交给调度器等待抓取

scrapy爬虫实践：

首先要爬去的网站是豆瓣电影top250的电影的名称，电影相关信息，评分，以及一句话的名言 网站链接如下：https://movie.douban.com/top250，如图：

1.创建一个scrapy项目：scrapy startproject DouBan（项目名称） 2.创建爬虫文件：scrapy genspider douban（蜘蛛名称）movie.douban.com（网站域名） 这样就会自动生成一个爬虫项目，项目的结构图如下：

打开setting.py文件，添加user_agent，user_agent是浏览器的标识，我们使用这个标识伪装我们的爬虫。如图：

然后打开items.py文件，写入我们要爬取得信息内容，如图：

接下来就是主要的部分了，爬虫解析获取到的网站信息，如图：

一页数据的抓取和清洗：

实现效果如图：

源码会在后期会贴上，按照这样的流程一步一步来就可以运行该爬虫了