学习python没多久,所以只能写一个很简单的爬虫啦~~
我使用annacada 自带的spyder来写爬虫的,这次我们要爬取得网站是http://www.drugbank.ca/drugs,
主要是爬取里面每种药物的信息到json文件中,包括有
DrugBank ID, Name , Weight, Structure, Categories, TherapeuticIndication。
首先我们先要在命令提示符那里输入一个语句来创建项目:scrapy startproject drugs //drugs是自己取得名字。
然后命令提示符上就会有关于创建的文件夹在哪个路径,我们对应去找就会找到的。找到之后我们会看到很多的文件,其中我们先用spyder去打开items.py这个文件,然后在里面编写代码:
import scrapy
class TutorialItem(scrapy.Item):
#define the fields for your item here like:
#name = scrapy.Field()
DrugBankId = scrapy.Field(); //这些名字(DrugBankId,Name......)都是我们想要爬取出来的信息。
Name = scrapy.Field();
Weight = scrapy.Field();
Structure = scrapy.Field();
Categories = scrapy.Field();
TherapeuticIndication = scrapy.Field();
Pass
然后我们在spider文件夹下自己创建一个.py结尾的文件来编写主要的代码。
我创建了drugbank.py的文件,然后在里面输入:
#-*- coding:utf-8 -*-
import scrapy
import string
from drugs.items import TutorialItem
class drugbank(scrapy.Spider):
# 定义爬虫的名称,主要main方法使用
name = 'drugbank' //在命令提示符中用来调用的。
allowed_domains=["drugbank.ca"]
start_urls=["http://www.drugbank.ca/drugs"]
# 解析数据
def parse(self, response):
items = []
i="0"
for sel in response.xpath('//table/tbody/tr'):
item = TutorialItem()
a=string.atoi(i)+1
i=str(a)
item['DrugBankId']=sel.xpath('//table/tbody/tr['+i+']/td[1]/a/text()').extract()
item['Name']=sel.xpath('//table/tbody/tr['+i+']/td[2]/strong/a/text()').extract()
item['Weight']=sel.xpath('//table/tbody/tr['+i+']/td[3]/text()[1]').extract()
item['Structure']=sel.xpath('//table/tbody/tr['+i+']/td[4]/a/img/@src').extract()
item['Categories']=sel.xpath('//table/tbody/tr['+i+']/td[5]/a/text()').extract()
item['TherapeuticIndication']=sel.xpath('//table/tbody/tr['+i+']/td[6]/text()').extract()
items.append(item)
yield item
#翻页
next_page =response.xpath('//ul/li[@class="next_page"]/a/@href')
if next_page:
url = response.urljoin(next_page[0].extract())
#爬每一页
yield scrapy.Request(url, self.parse)
我们在命令提示符中进入到drugs目录下,即输入cd drugs,然后回车再输入 scrapy crawl drugbank -o items.json -t json其中drugbank是在drugbank文件中的name的属性,items.json是你想将数据存放到这个文件中,所以这个名字是自定义的。
执行完这个,我们就可以在drugs文件夹下找到items.json文件,里面就存放着从网页下爬取出来的药物的信息。