Python+Scrapy爬取人民网
Python+Scrapy爬取人民网
一.准备工作：
①安装python3
②安装scrapy
③安装docker，用来运行splash，splash是用来提供js渲染服务（python中还需利用pip安装scrapy-splash 库）
注意：win10需要安装docker客户端（https://www.docker.com/
），Linux的安装就比较简单了（自行百度）。安装上docker后，拉取镜像（docker pull scrapinghub/splash），运行镜像（docker run -p 8050:8050 scrapinghub/splash）。
二.人民网分析（http://www.people.com.cn/）：
①本文介绍人民网首页如何抓取，进入人民网展示的就是首页内容，每隔一段时间首页的内容就会更新，如何不断地爬取首页的新闻呢，接下来就看一下首页的源码分析。观察下图，可以看出首页的文章存在ul标签中，点击其它文章会发现，虽然文章都存在ul标签中，但是class name确不一样，下图一ul class=‘list14’,图二的文章连接存在ul class = 'list14 top’的标签中，有两种方法我们可以把这两种标签中的文章url提取出来，一是提取所有的ul,不管标签的class是什么，二是提取class包含‘list14’的ul。提取方法分别如下：
#提取所有下面文章的链接，不区分class name
news_list = response.xpath('//ul//li//a/@href').extract()
#提取 class name包含list14标签下面的文章链接
news_list = response.xpath('//ul[contains(@class,"list14")]//li//a/@href').extract()
图一
图二
②接下来就是如何请求首页地址，获取首页的信息，以及提取出文章url后，如何获得文章的具体内容。获取首页内容的代码如下：
def start_requests(self):
# 每隔一段时间定时执行爬虫程序，在爬虫执行钱，清空redis,然后再爬取，避免重复。
job_redis.delete('dingding:people_urls')
#人民网网址
target_url = 'http://www.people.com.cn/'
#callback是要调用的函数
yield SplashRequest(url=target_url, callback=self.list_parse, headers=headers,
args={'wait':0.5}, endpoint='render.html')
# 抓取文章列表函数
def list_parse(self, response):
info_type = "资讯（热点）"
info_platform = "人民网"
item = MyspiderItem()
# 提取首页文章的url,提取出来后，可以把url放入redis,后续抓取文章具体内容使用
news_list = response.xpath('//ul[contains(@class,"list14")]//li//a/@href').extract()
#上面提取出的news_list是个数组，循环数组，把每个文章的article_url放入redis,循环代码省略
job_redis.sadd('dingding:people_urls', article_url)
③文章的url已经存入redis，接下来就可以根据文章的url爬取具体的文章内容了。首先从redis中取文章url,然后根据url发起请求，最后提取response中的内容。代码如下：
#从redis中取文章url
article_url = job_redis.spop('dingding:people_urls')
#发起SplashRequest请求
while article_url:
# 休眠
time.sleep(3)
yield SplashRequest(url=article_url, callback=self.article_parse, headers=headers, args={'wait': 0.5}, endpoint='render.html')
# 抓取文章具体内容函数
def article_parse(self, response):
info_type = "资讯（热点）"
info_platform = "人民网"
p_info = ""
image = ""
article_title = ""
article_content = ""
article_source = ""
article_author = ""
item = MyspiderItem()
# 标题
title = response.xpath('//div[@class="clearfix w1000_320 text_title"]/h1/text()').extract()
# 文章作者
author = response.xpath('//p[@class="author"]/text()').extract()
time = response.xpath('//div[@class="box01"]/div[@class="fl"]/text()').extract()
source = response.xpath('//div[@class="box01"]/div[@class="fl"]/a/text()').extract()
④人民网的新闻会不断更新，为了源源不断的获取网站的数据，就需要设置定时任务，每隔一段时间进行爬取。网站数据的去重这里没有给出，我是在存redis之前操作数据库进行去重，有啥更好的去重办法欢迎指教。我把抓取的文章详情存到数据库了，具体的代码也不给出了，我的一篇爬取36氪网站的文章有相关代码，可以参考一下。