爬虫scrapy抓取w3school课程列表
首先还是先创建scrapy项目，当然这都是在你安装scrapy之后啊，这个scrapy还是在linux系统下最省事，一行指令瞬间安装，这酸爽。。。。。
言归正传啊，创建scrapy文件。
scrapy startproject w3school之后可以查看一下，这个文件的结构，上一次抓取天气的时候还记得吗，我们采用的是tree命令。
tree w3school你就能看见一个树形的文件目录。
现在我们开始编写爬虫中的文件，其实需要编写的只有4个文件，items.py pipelines.py setting.py spider.py。现在只是最初级啊，因为现在我还只是一个菜鸟，哇咔咔。
items文件是一个容器，所谓Item容器就是将在网页中获取的数据结构化保存的数据结构，类似于python中字典。按我的理解就是你需要提取什么就写一个Field()。当然这个理解还是很初步的啊，但我坚信在实践中成长才是最快速的，刚开始的时候就是要不求甚解，用的次数多了，随着深入的学习自然就明白了。
import scrapy
class W3SchoolItem(scrapy.Item):
title = scrapy.Field()
link = scrapy.Field()
desc = scrapy.Field()之后我们可以编写爬虫文件或者pipelines文件都可以。pipelines文件主要完成数据的查重、丢弃，验证item中数据，将得到的item数据保存等工作。 也就是说抓取的数据都是会返回到pipilines文件中.爬虫文件中会有一个parse()函数，最后有一个return items会返回一个列表。其中的codec模块是专门用来转换编码用的。
process_item函数参数的含义:
item (Item object) – 由parse方法返回的Item对象
spider (BaseSpider object) – 抓取到这个Item对象对应的爬虫对象
# -*- coding: utf-8 -*-
import json
import codecs
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
class W3SchoolPipeline(object):
def __init__(self):
self.file = codecs.open('W3School_data.json','wb',encoding = 'utf-8')#初始化创建一个W3School_data.json的文件
def process_item(self, item, spider):
line = json.dumps(dict(item)) + '\n'#对数据类型进行编码
print line
self.file.write(line.decode("unicode_escape"))
return item
ITEM_PIPELINES = {'w3school.pipelines.W3SchoolPipeline':300}最后开始编写我们的爬虫文件，就是从网页源代码中提取我们想要的信息。scrapy官方推荐使用xpath来提取，比较方便快捷。爬虫文件中有三个参数一定要写，一个是name这个相当于爬虫的代号，因为爬虫你可以写很多个，但是调用的时候只能调用一个爬虫为你工作，name在调用的时候会用的到。还有一个allowed_domains属性，scrapy有一個offsite機制，即是否抓其他域名，需要將allowed_domains屬性添加上sina.com.cn。最后还有一个start_urls属性，包含了Spider在启动时进行爬取的url列表。 因此，第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。
scrapy还提供了log功能，具体我也不知道它有什么功能，应该是可以捕捉scrapy的日志。里面的msg()函数可以记录信息，然后会将信息显示在终端窗口中，有点C++里messagebox的意思。
Scrapy提供5层logging级别:
:data:`~scrapy.log.CRITICAL` - 严重错误(critical)
:data:`~scrapy.log.ERROR` - 一般错误(regular errors)
:data:`~scrapy.log.WARNING` - 警告信息(warning messages)
:data:`~scrapy.log.INFO` - 一般信息(informational messages)
:data:`~scrapy.log.DEBUG` - 调试信息(debugging messages)
from scrapy.spider import Spider
from scrapy.selector import Selector
from scrapy import log
from w3school.items import W3SchoolItem
class W3schoolSpider(Spider):
name = 'w3school'
allowed_domains = ["w3school.com.cn"]
start_urls = ['http://www.w3school.com.cn/']
def parse(self,response):
sel = Selector(response)
sites = sel.xpath('//div[@id="navfirst"]/ul[1]/li')#找到id=navfirst的div，找到其中ul里面li里的信息。
items = []
for site in sites:
item = W3SchoolItem()#每个item都相当于一个字典
title = site.xpath('a/text()').extract()#提取中间的内容
link = site.xpath('a/@href').extract()#提取中href的内容
desc = site.xpath('a/@title').extract()#提取中title的内容
item['title'] = [t.encode('utf-8') for t in title]
item['link'] = [l.encode('utf-8') for l in link]
item['desc'] = [d.encode('utf-8')for d in desc]
items.append(item)
log.msg("Appending item...",level = "INFO")
log.msg("Append done.",level = 'INFO')
return items
最后我们可以检验一下我们的劳动成果啦，哇咔咔，先进入w3school文件运行下列的代码就ok了。
scrapy crawl w3school之后文件夹中会出现一个W3School_data.json的文件里面的内容就是。其实你也可以抓取其他的东西，只要更改xpath的内容就ok了。
{"title": ["HTML 系列教程"], "link": ["/h.asp"], "desc": ["HTML 系列教程"]}
{"title": ["浏览器脚本"], "link": ["/b.asp"], "desc": ["浏览器脚本教程"]}
{"title": ["服务器脚本"], "link": ["/s.asp"], "desc": ["服务器脚本教程"]}
{"title": ["ASP.NET 教程"], "link": ["/d.asp"], "desc": ["ASP.NET 教程"]}
{"title": ["XML 系列教程"], "link": ["/x.asp"], "desc": ["XML 系列教程"]}
{"title": ["Web Services 系列教程"], "link": ["/ws.asp"], "desc": ["Web Services 系列教程"]}
{"title": ["建站手册"], "link": ["/w.asp"], "desc": ["建站手册"]}