Autoweb -- 编写&分享你的web抓取器

阅读更多

起因:

业余工作中需要一些数据采集工作,  发现这种事情特点是: 逻辑简单/容易出错,  并且重复性工作很高. 

搞了几个抓取器后, 总算总结了一些规律, 把他们抽取成了一个framwork. 看看谁能用着就那取用.

下面我一步步介绍autoweb的使用:

1.  安装
gem install autoweb
     安装前需要安装以下包:
    *curl
    * wget
    * hpricot
注意: 我只在mac 和 linux环境上测试过,   window上如有问题, 请mail我

2.  看教程&例子
教程
     *  http://github.com/dazuiba/autoweb
     *  http://dazuiba.iteye.com
例子   
    http://github.com/dazuiba/autoweb/tree/master/commands/