爬虫的境界，原来可以如此。。。

最近搞了个新站(id86.com)，技术型论坛，想了想数据来源是个问题，于是乎花了两三天的下班时间搞了几个爬虫，针对wenwen.soso.com的


ruby, js, css ,php, ubuntu, centos, mysql, oracle，相关的帖子都是通过这个爬虫从soso那边抓过来的。

感觉用ruby写爬虫相当给力啊，是迄今为止遇到过写采集最方便的，当然是对比脚本语言这一系列来说的


这里面包含一些小的细节：

(1) 通过ruby以用户管理员身份登录网站，创建新用户

     discuz X的数据系统确实不敢深究，虽然知道他的一部分机理，比如ucenter_members, common_member这一堆表的用法，但最终还是采用的是通过post请求的方式来添加需要的用户， 没敢去尝试用ruby脚本改数据库。虽然之前迁移过80万用户、700万帖子的论坛。

(2) 通过ruby脚本改数据库，发表主题，发贴

(3) 通过ruby脚本结合imagemaigck给用户搞头像。

地址是: www.id86.com。现在除了抓过来的数据，其他啥也没有。相当于一个垃圾桶吧。哈哈。