Scrapy Pipeline之与数据库交互
有很多数据库符合Python Database API规范2.0，例如MySQL，PostgreSQL，Orcale，Microsoft SQL Server和SQLite。它们的驱动是很复杂的并且经过了很多测试，如果再为了Twisted重新实现就太浪费了。你可以在Twisted应用中使用这些数据库客户端，例如，Scrapy就使用了twisted.enterprise.adbapi库。我们会用MySQL来展示一下如何使用，不过相同的使用方法可以应用到其他兼容的数据库上。
写入MySQL的Pipeline
先来创建一个数据库：
mysql> create database properties;
mysql> use properties
mysql> CREATE TABLE properties (
url varchar(100) NOT NULL,
title varchar(30),
price DOUBLE,
description varchar(30),
PRIMARY KEY (url)
);
mysql> SELECT * FROM properties LIMIT 10;
Empty set (0.00 sec)这样就创建了一个MySQL数据库和一个叫做properties的表格，里面有一些准备用来创建pipeline的字段。
接下来会使用MySQL的Python客户端，并要安装一个模块叫做dj-database-url，它是用来帮助我们解析连接到数据库的URL的，可以使用pip install dj-database-url MySQL-python来安装。下面是MySQL Pipeline的代码：
import traceback
import dj_database_url
import MySQLdb
from twisted.internet import defer
from twisted.enterprise import adbapi
from scrapy.exceptions import NotConfigured
class MysqlWriter(object):
"""
A spider that writes to MySQL databases
"""
@classmethod
def from_crawler(cls, crawler):
"""Retrieves scrapy crawler and accesses pipeline's settings"""
# Get MySQL URL from settings
mysql_url = crawler.settings.get('MYSQL_PIPELINE_URL', None)
# If doesn't exist, disable the pipeline
if not mysql_url:
raise NotConfigured
# Create the class
return cls(mysql_url)
def __init__(self, mysql_url):
"""Opens a MySQL connection pool"""
# Store the url for future reference
self.mysql_url = mysql_url
# Report connection error only once
self.report_connection_error = True
# Parse MySQL URL and try to initialize a connection
conn_kwargs = MysqlWriter.parse_mysql_url(mysql_url)
self.dbpool = adbapi.ConnectionPool('MySQLdb',
charset='utf8',
use_unicode=True,
connect_timeout=5,
**conn_kwargs)
def close_spider(self, spider):
"""Discard the database pool on spider close"""
self.dbpool.close()
@defer.inlineCallbacks
def process_item(self, item, spider):
"""Processes the item. Does insert into MySQL"""
logger = spider.logger
try:
yield self.dbpool.runInteraction(self.do_replace, item)
except MySQLdb.OperationalError:
if self.report_connection_error:
logger.error("Can't connect to MySQL: %s" % self.mysql_url)
self.report_connection_error = False
except:
print traceback.format_exc()
# Return the item for the next stage
defer.returnValue(item)
@staticmethod
def do_replace(tx, item):
"""Does the actual REPLACE INTO"""
sql = """REPLACE INTO properties (url, title, price, description)
VALUES (%s,%s,%s,%s)"""
args = (
item["url"][0][:100],
item["title"][0][:30],
item["price"][0],
item["description"][0].replace("\r\n", " ")[:30]
)
tx.execute(sql, args)
@staticmethod
def parse_mysql_url(mysql_url):
"""
Parses mysql url and prepares arguments for
adbapi.ConnectionPool()
"""
params = dj_database_url.parse(mysql_url)
conn_kwargs = {}
conn_kwargs['host'] = params['HOST']
conn_kwargs['user'] = params['USER']
conn_kwargs['passwd'] = params['PASSWORD']
conn_kwargs['db'] = params['NAME']
conn_kwargs['port'] = params['PORT']
# Remove items with empty values
conn_kwargs = dict((k, v) for k, v in conn_kwargs.iteritems() if v)
return conn_kwargsparse_mysql_url()函数用来把MYSQL_PIPELINE_URL设置的值解析成单个的参数并在__init__()函数中把它传递给adbapi.ConnectPool()，由这个函数使用adbapi来对MySQL连接池进行初始化。它的第一个参数是需要加载的模块，在此例中是MySQLdb。我们为MySQL客户端设置了一些其他的参数来处理Unicode和超时。所有的这些参数都会在adbapi需要打开新的连接时传递给MySQLdb.connect()函数。爬虫关闭的时候，调用close()函数。
process_item()方法只是对dbpool.runInteraction()的一个包装。这个方法把回调函数组织成一个队列并在连接池中的某个连接的Transaction对象可用时调用回调函数。Transaction对象有一个和DB-API游标类似的API。在这个例子中，回调函数是do_replace()，定义在后面几行。@staticmethod意味着这个方法是与类相关的而不是与类的实例相关的，其实可以删除前面的self参数。如果一个方法中没有使用成员变量，那么最好还是把它设置成静态方法，但是忘记这样做也无所谓。这个方法准备了一个SQL语句，一些参数，并调用了Transaction的execute()方法来执行插入操作。方法中的SQL语句使用了REPLACE INTO而不是INSERT INTO，以便当一个条目已经存在时来替换它。如果需要SQL语句返回结果，比如使用了SELECT语句，那就要使用dbpool.runQuery()。通过设置adbapi.ConnectionPool()方法的cursorclass参数还可以改变默认的游标，比如cursorclass=MySQLdb.cursors.DictCursor，因为它更利于数据的检索。
在ITEM_PIPELINES中加上：
ITEM_PIPELINES = { ...
'properties.pipelines.mysql.MysqlWriter': 700,
...
}
MYSQL_PIPELINE_URL = 'mysql://root:pass@mysql/properties'执行下面的命令：
scrapy crawl easy -s CLOSESPIDER_ITEMCOUNT=1000运行之后查看MySQL的记录：
mysql> SELECT COUNT(*) FROM properties;
+----------+
| 1006 |
+----------+
mysql> SELECT * FROM properties LIMIT 4;
+------------------+--------------------------+--------+-----------+
| url | title | price | description
+------------------+--------------------------+--------+-----------+
| http://...0.html | Set Unique Family Well | 334.39 | website c
| http://...1.html | Belsize Marylebone Shopp | 388.03 | features
| http://...2.html | Bathroom Fully Jubilee S | 365.85 | vibrant own
| http://...3.html | Residential Brentford Ot | 238.71 | go court
+------------------+--------------------------+--------+-----------+
4 rows in set (0.00 sec)至于性能和之前的一样。