对于很多框架工具而言，在看网上找到的教程的时候，我们一般都可以按部就班，把这些框架工具的功能慢慢学习清楚，但是当我们试图在实际工程实践中开始使用这些功能的时候，却常常感到无从下手。在使用Django的时候，这个感觉到不是很明显，毕竟Django本身是一个包罗万象的框架，你可以通过使用Django给出的标准结构，来实现MVC模型中的各个部分。但是当使用一些更加简洁的框架的时候，就没这么容易了。
例如如果是使用Flask的话，ORM部分就需要自己解决。一般而言，Flask的开发者会选择SQLAlchemy来作为ORM框架。在写Python爬虫的时候，也有类似的问题。我近日完成了一个Python爬虫的过程，其中就使用了SQLAlchemy作为ORM工具。我以这个工程为例子来阐述一下如何把SQLAlchemy和实际开发的工程结合起来。
实例
这个爬虫的作用是获取USPTO网站上的专利数据，工程目录下我们创建了如下文件：
-
runme.py：程序开始的入口，在爬虫完成以后通过nohup python runme.py args来启动爬虫。（nohup的作用是如果你在远程服务器上启动爬虫的话，确保你在断开ssh连接之后爬虫程序不被终止） -
parsers.py：用来从网络请求获得的html数据中解析出我们需要的数据。 -
models.py: 数据模型的代码，也是接下来我需要将的重点部分。 -
workers.py：执行爬取任务的worker定义。
上面所说的models.py即是我们使用SQLAlchemy的入口。在models.py中，我们一般在开头定义一个engine对象来建立起到数据库的连接：
engine = create_engine(
'sqlite:///{path}/db.sqlite3'.format(path=os.path.dirname(__file__)),
encoding='utf8', echo=False
)
然后我们需要构建一个"Declarative"的基类，之后我们创建的所有数据库对象都需要从这个基类派生：
@as_declarative()
class Base(object):
id = Column(Integer, primary_key=True, autoincrement=True)
@declared_attr
def __tablename__(cls):
return cls.__name__.lower()
之后我们就可以添加自己需要的数据对象了。我这里因为是按照国家检索专利，因此设计了Country和Patent两个类，并且在这两者之间建立了多对多关系。
citation = Table(
"citation", Base.metadata,
Column("cite_id", Integer, ForeignKey("patent.id"), primary_key=True),
Column("cited_id", Integer, ForeignKey("patent.id"), primary_key=True))
class Country(Base):
name = Column(String(50), nullable=False)
code = Column(String(10), nullable=False)
flag = Column(Boolean, default=False)
class Patent(Base):
# 专利名称
name = Column(String(250))
# 申请年份
apply_year = Column(Integer, default=2000)
# 专利id
p_id = Column(String(100), unique=True)
apply_id = Column(String(100), unique=True)
# url id
url_id = Column(String(100), unique=True)
# 摘要
abstract = Column(String(250))
# 类别
category = Column(String(20))
# 申请人,暂时不用
applier = Column(String(250))
# FM: 发明, SY: 实用, WG: 外观
type = Column(String(5))
# valid, applying, invalid
status = Column(String(10))
# flag = Column(Boolean, default=True)
reference_only = Column(Boolean, default=True)
country_id = Column(Integer, ForeignKey("country.id"))
country = sqlalchemy.orm.relationship(
"Country", backref="patents"
)
Patent.cited_patents = sqlalchemy.orm.relationship(
"Patent", backref="cited_by", secondary=citation,
primaryjoin=(Patent.id == citation.c.cite_id),
secondaryjoin=(Patent.id == citation.c.cited_id)
)
然后，我们需要创建一个session的工厂函数来方便获取访问数据库的session，我一般采用如下的方式：
DBSession = sqlalchemy.orm.sessionmaker(bind=engine)
def new_session():
return DBSession()
最后执行创建数据库的命令：
Base.metadata.create_all(engine)
至此数据库部分就配置完成了。不过，这个范例仍然只适用于较为小型的项目，更复杂的项目需要你自己进一步研究了。