周末在家两天利用Nokogiri 和 Mechanize 写了个团购导航小网站。。。轻拍砖。。。

module Goods
  module MeiTuan
      
      site = "美团"
      @site = Site.find_by_name(site)
      cities_xml = Nokogiri::XML(open(@site.city_api))
      cities_xml.search("division").each do |city|
        city_id =  city.search("id").text
        city_name = city.search("name").text
        product_url = @site.product_api.gsub(/XXX/,city_id)
        xmls = Nokogiri::XML(open(product_url))
        xmls.search("deal").each do |product_xml|
        full_title = product_xml.search("title").text
        url = product_xml.search("deal_url").text
        pic = product_xml.search("large_image_url").text
        deadline = product_xml.search("end_date").text.to_datetime.to_s(:db)
        member_num = product_xml.search("quantity_sold").text
        price = product_xml.search("price").text
        soldout = true if product_xml.search("sold_out").text == "true"
        original_price = product_xml.search("value").text
        my_city_id = City.find_or_create_by_name(city_name).id
        site_id = @site.id

        hash = {
          :city_id => my_city_id ,
          :url => url ,
          :full_title => full_title ,
          :pic => pic ,
          :original_price => original_price ,
          :deadline => deadline ,
          :member_num => member_num ,
          :price => price ,
          :original_price => original_price ,
          :site_id => site_id
        }

        save_it!(hash)
      end 
    end 
  end
end

 

好吧好吧，上面这段写得很难看。。。。。

 

写了很多上面这样的东西，去爬团购网站的数据，有些还好，提供API，直接拿Nokogiri去分析就行了。

有些就悲剧了，只能用Mechanize很人肉的去分析HTML。。。 最慢的一个我写了1个小时。。。杯具啊。。。

 

现在已经有很多这样类似的团购导航网站了，似乎PHP有个开源的项目就是团购导航网站的，哎，PHP把风气搞坏了。。。

哎，真没意思，那些网站都张得一样。就像80%的团购网站都长得一样一样。似乎团购网站也有直接的PHP源码。。。。

 

突然想起来前端时间火气来的SNS，似乎觉得长得不像开心网就不叫SNS。。。搞不懂，缺少创意。

 

我这顺便把淘宝、拍拍、有啊的数据也一起抓了，并且放在展示的页面，直接和团购商品进行价格比较。

 

于是乎，我发现团购未必真的更便宜嘛！！

 

我的网址是 www.bijiatuan.com ，目前放在载途上，额。。。

 

大家轻拍转。。。蜗牛ruby刚入门，多谢Hooopo同学解答了我若干问题哈。。。。

 

展示一下团购商品价格比较的效果：