搜索引擎七:总结

项目代码

  • 项目Github地址

总结

  • 项目由服务器,数据库,全文索引引擎,爬虫框架,网页框架组成
  • 由于各组件开源,每一部分都可以随时更换别的工具或自己写
  • 对于服务器来说,因为开发环境是windows,所以选取了nginx+flup作为服务器,在linux下可以选择nginx+uwsgi作为服务器
  • 对于数据库而言,这里用了mysql,但因为python可以连接几乎所有的数据库,因此可以用各种数据集代替,比如mongodb等
  • 对于全文搜索引擎来说,这里用了coreseek(基于 Sphinx ),常见的开源引擎还有:Lucene , Xapian 。因为内存关系,建立索引的时候用了本地建好的索引,还可以考虑使用实时索引
  • 对于爬虫框架而言, 这里用Scrapy,除了自己写以外,有关python的框架还有Pyspider
  • 对于网页框架来说,这里用Django,常见还有: Flask, Web2py

你可能感兴趣的:(搜索引擎七:总结)