API抓取数据作业及总结

总结

昨天练习了两次WEP API，花了八个小时，在后面的两个小时做作业，还是没做出来。今天花了两个小时做了两个出来：一个是抓云币的数据，参考同学：https://forum.qzy.camp/t/api/1687；另一个是抓足球赛事的数据。
　　总结一下：

先问问题：我是怎么想得？怎么做的？结果怎样？花了多长时间？我要总结什么？有什么要改？有什么优点和好的做法要继续的保持？套路是什么？

解答：

1. 我是如此想： 对不熟的东西，要先打个照面；先做一遍，看出来的效果，然后把不懂的抄写。
2. 如此做：我还是按照先做一遍，然后手打一遍，没有复盘，然后对不懂的手抄了一两遍。
3. 昨天结果是很懵逼，感觉很失败，没有成就感。今天做完了作业也感觉没什么，也不是很难。
4. 好的做法要保持：

• 连续专注的学习
• 不怕困难

5. 要改进的地方：

• 第一遍复制黏贴，不需要手打；第二遍边手打边思考，看输出什么，什么代码有怎样的结果；然后尝试做一个类似的东西、项目出来（这个很重要）；最后总结套路出来。
• 写总结，还有“进步本”；总结套路，记录所学知识及要点，及时复习。

API套路

一、首先拿数据，在终端测试

用 rest-client 抓下来观察看看，拿我用的聚合数据里面足球积分榜的数据来做：

接下来实验 Ruby 客户端，用 Ruby 程序来抓取上述的资料。
进入 irb：

gem install rest-client
require 'rest-client'
require 'json'
response = RestClient.get "http://v.juhe.cn/football/scorerank.php", :params => { :key => "5a24681a17011d0d74229ed30f13fd77", :league_id => "2" } 
data = JSON.parse(response.body)

我一直纠结不知道怎么把这个需要参数的数据提出来，后来看到这个key的输入方式，想到加入这个league_id的方式，放进去可以奏效。
成功的话会显示如下：

image.png

那这个数据可以用咯。

二、建立专案

1. 建立Model

rails new api_(自己取名）
cd api_(上面的名字）
git init

加入gem gem 'rest-client,然后bundle install
执行rails g model scoreranks这个model名字没改好，感觉改teams更好。
编辑这个档案db/migrate/2017xxxxxxxx_create_scroeranks.rb

class CreateScoreranks < ActiveRecord::Migration[5.0]
  def change
    create_table :scoreranks do |t|
      t.integer :juhe_id
      t.integer :league_id
        t.integer :team_group
        t.integer :team_id
        t.string :name_zh
        t.string :known_name_zh
        t.integer :played
        t.integer :rank_index
        t.integer :win
        t.integer :draw
        t.integer :lost
        t.integer :hits
        t.integer :miss
        t.integer :difference
        t.integer :score
        t.string :avg_goal_hit
        t.string :avg_goal_lost
        t.string :avg_goal_win
        t.string :avg_score
        t.integer :season_id

      t.timestamps

    end
  end
end

然后rake db:migrate

2. 抓取数据储存
   新增lib/tasks/dev.rake

namespace :dev do
  task :fetch_scorerank => :environment do
    puts "Fetch scorerank data..."
    response = RestClient.get "http://v.juhe.cn/football/scorerank.php", :params => { :key => "5a24681a17011d0d74229ed30f13fd77", :league_id => "2", :season_id => "2016" }
    data = JSON.parse(response.body)

    data["result"].each do |c|
      existing_scorerank = Scorerank.find_by_juhe_id( c["id"] )
      if existing_scorerank.nil?
        Scorerank.create!( :juhe_id => c["id"], :season_id => c["season_id"],
        :league_id => c["league_id"],:team_group => c["team_group"], :team_id => c["team_id"],
        :name_zh => c["name_zh"], :known_name_zh => c["known_name_zh"], :played => c["played"],
        :rank_index => c["rank_index"], :win => c["win"], :draw => c["draw"], :lost => c["lost"],
        :hits => c["hits"], :miss => c["miss"], :difference => c["difference"], :score => c["score"],
        :avg_goal_hit => c["avg_goal_hit"], :avg_goal_lost => c["avg_goal_lost"],
        :avg_goal_win => c["avg_goal_win"], :avg_score => c["avg_score"] )

      end
    end

    puts "Total: #{Scorerank.count} Scorerank"
  end
end

执行 bundle exec rake dev:fetch_scorerank就会把数据存入了。
上面这块我纠结了最长时间，老是bundle都显示错误，首先create!后面的括号要紧跟，别有空格，另外格式要对，别少了字母c。

后面就可以按照教程来做了。