用 Scrapy+Mariadb 实现汉典数据爬虫(一)——开发环境的选择

最近准备搞大数据,大数据的第一研究方向当属爬虫了,所以就决定从爬虫入手,一步一步做研究。之前用C#写过一个百度云关系网络爬虫,亲身经历了爬取速度从10s一个(单机百度云爬取速度限制)到100个/s(三个端,100个)的改变,也积攒了一些经验。后来曾想过用这些经验写一个爬虫框架,但是以目前的水平,还是有点难度。所以就决定先研究下大牛们开发的开源爬虫框架,从头开始重做关系爬虫,顺带把过程与心得写一下,希望各位朋友提出任何问题,建议,学无止境,共同进步,同时也希望能为那些处于迷惑中的朋友们提供一个借鉴。废话不多说,现在进入正文。


对于开发环境的选择,通过网络上大牛们的比较,Scrapy 0.25中文文档比较全,基于Py2.0。而Scrapy 1.2中文文档相对较少,但是基于Py3.0。从目前阶段来说,虽说后者资料较少,但是作为研究还是挺有意义的,所以最终选择了 Scrapy 1.2 + Py3.0。

由于自己以前从事的是C#开发,使用Visual Studio相对熟练一点,并且Visual Studio 2015 增加了对Python编程的支持,所以选择了Visual Studio 2015作为开发环境。

关于数据库的选择,自己之前写C#爬虫时经历了 一个从MySql到MariaDB的转变,因为MaraiDB相比较MySql对于数据的操作速度是快了很多,而且开源社区也很活跃,毕竟是MySQL被收购之后MySQL之父单独创建的分支,其分量不言而喻。

所以,最终决定下来的开发环境如下:

操作系统:WIndows 10

开发语言:Python

开发软件:Visual Studio 2015

爬虫框架:Scrapy 1.2

数据库:Mariadb

你可能感兴趣的:(Python,软件开发,Scrapy,爬虫)