API抓取第三方资料

1-1、网络爬虫（web crawler)

如果想要抓天气资讯，在Terminal里面执行：
gem install rest-client
成功会看到Successfully installed rest-client-2.0.1的信息。

接着开一个irb实验看看，执行irb后，一行行输入以下代码：

require 'rest-client'
response = RestClient.get "http://www.weather.com.cn/weather1d/101010100.shtml"
response.body

资料显示很乱，因为回传的内容是HTML给浏览器显示的，我们只看气温：

require 'nokogiri'
doc = Nokogiri::HTML.parse(response.body)
doc.css(".today .tem").map{ |x| x.text }  # 得到 ["\n13°C\n", "\n2°C\n", "\n"] 

透过Nokogiri这个库我们解析HTML，透过CSS selector从文件中对比出想要的资讯。这就是网络爬虫（web crawler), 但这样很辛苦，程式容易坏掉。所以用API存取资料。

---

1-2、什么是API?

API(Application Programming Interface)讲的就是程序跟程序的接口，定义接口叫什么名字、要传什么参数进去、它会回传什么东西回来、可能会发生的错误等等。

在写 Ruby 程序的时候，我们会呼叫库(library)的方法，这时候 API 指的是方法(method)的名字、参数、回传值等等，例如 Ruby Hash 的 API 文件。
对 Web 应用来说，客户端和服务器之间是用 HTTP 通讯协定：抓资料的一方叫做 Client 客户端，送出 HTTP request，在之前的课程中，这个角色就是浏览器，在这堂课中，我们会自己撰写 Ruby 程序作为客户端。回传资料的一方叫做 server 服务端，回传 HTTP response，服务端例如我们已经学过的 Ruby on Rails。

Web 应用的 API 就是在定义网址 URL 长怎样、请求的 HTTP 方法(GET或POST等)是什么、要传什么参数过去、返回的资料格式又是什么。这份教材要示范的，就是属于这一种 API。
其中返回格式最常用的是 JSON 或 XML。这两种是最常见的资料交换格式，专门用来让机器之间交换资料用的，只有纯粹的资料，不像 HTML 有没有杂七杂八的排版资讯。一个 JSON 字串例如：
{ "id": 123, "name": "foobar"}

就是在描述一个哈希，不同程式语言都可以产生和解析这一个字串，让我们在 irb
中实验看看，我们可以把任意的 Ruby 资料，转成 JSON 字串：
require 'json'{ :id => 123, :name => "foobar" }.to_json # => "{\"id\":123,\"name\":\"foobar\"}"

你可以再开另一个 Terminal，再进入 irb
，把刚刚的 JSON 字串贴上来
require 'json'JSON.parse( "{\"id\":123,\"name\":\"foobar\"}" ) # => {"id"=>123, "name"=>"foobar"}

这样就又把 JSON 字串又转回 Ruby 了。
所以如果能有 Web API 提供 JSON 资料的话，就可以透过程式语言直接解析拿到纯粹的资料，非常方便又可靠。

---

1-3、注册聚合数据，拿到API Key

让我们找找看有没有提供天气 API 的服务商，找到了由聚合数据提供的 全国天气预报 API，请先注册，然后申请天气预报数据：

然后就可以拿到 API Key，请记下这个凭证，等会呼叫 API 时会用到:

API 服务商都会要求你先注册，然后呼叫 API 时需要带着这个 API Key 参数，用来记录呼叫者和使用次数。

1-4、安装Postman进行初步测试

要怎么对 Web API 进行手动的测试呢? 我们来装一个 Chrome Extension 叫做 Postman，这就是一个万用的表单工具。
首先进入 Chrome 选单上的 Windows > Extensions，然后安装 Postman：

透过这个工具，我们可以指定 URL 地址、HTTP 方法和要传递的参数。让我们实验看。根据 全国天气预报 文档 的说明，让我们试试看来抓「支持城市列表」

在 Postman 中输入接口的 URL 地址和参数：

点击 Send 就可以看到结果了：

1-5、用rest-client抓下来看

接下来实验 Ruby 客户端，用 Ruby 程序来抓取上述的资料。
进入 irb
：
require 'rest-client'require 'json'response = RestClient.get "http://v.juhe.cn/weather/citys", :params => { :key => "請換成你的Key" } data = JSON.parse(response.body)

这个 data 变量就是单纯的 Ruby 哈希资料了，是全部的城市。接下来我们可以观察一下这个资料的样子，文档上面也有范例：
data.keys # => ["resultcode", "reason", "result", "error_code"]data["result"][0] # => {"id"=>"1", "province"=>"北京", "city"=>"北京", "district"=>"北京"}

2-2初始专案，建立City Model

在 Terminal 下输入：

 rails new api_exercise
 cd api_exercise
 git init 

编辑 Gemfile 加上gem 'rest-client'，然后执行 bundle

执行 rails g model city

编辑 city 的 migration 档案 db/migrate/201703XXXXXXXX_create_cities.rb：

 class CreateCities < ActiveRecord::Migration[5.0]
   def change
     create_table :cities do |t|
+      t.string :juhe_id
+      t.string :province
+      t.string :city
+      t.string :district
+      t.string :current_temp
       t.timestamps
     end
+    add_index :cities, :juhe_id
   end
 end

然后rake db:migrate

2-3 抓取区城市资料储存下来

新增 lib/tasks/dev.rake，放在这个目录下的 rake 档案是用来编写任务脚本，让我们在 Terminal 中可以执行它：

lib/tasks/dev.rake

namespace :dev do
  task :fetch_city => :environment do
    puts "Fetch city data..."
    response = RestClient.get "http://v.juhe.cn/weather/citys", :params => { :key => "你申请的key放这里" }
    data = JSON.parse(response.body)
    data["result"].each do |c|
      existing_city = City.find_by_juhe_id( c["id"] )
      if existing_city.nil?
        City.create!( :juhe_id => c["id"], :province => c["province"],
                      :city => c["city"], :district => c["district"] )
      end
    end
    puts "Total: #{City.count} cities"
  end
end

执行 bundle exec rake dev:fetch_city就会执行这个任务，把 2574 笔城市存进数据库。

juhe_id 这个栏位的目的是存下第三方那边的 id，这样我们之后在更新数据的时候，就可以进行比对、避免重复新增。

---

2-4 在画面显示出来

编辑 config/routes.rb
新增一行 ·resources :cities·

config/routes.rb

Rails.application.routes.draw do+ resources :cities end 

执行rails g controller cities

编辑 app/controllers/cities_controller.rb

app/controllers/cities_controller.rb

class CitiesController < ApplicationController
+ def index
+ @cities = City.all
+ end 
end

新增 app/views/cities/index.html.erb

app/views/cities/index.html.erb

<% @cities.each do |city| %>
  
<% end %>


  
Juhe ID
  
Province
  
City
  
District
  
Temp

    
<%= city.juhe_id %>
    
<%= city.province %>
    
<%= city.city %>
    
<%= city.district %>
    

  

启动服务器rails s
，打开浏览器 http://localhost:3000/cities
就会看到城市资料了。

这里省略了安装 Bootstrap 的步骤，如果没安装也没关系，画面会有差异而已。

2-5 更新城市天气

我们希望存下来当前温度。根据 文档 的说明，可以找到气温的 API 说明。
首先修改 config/routes.rb
，新增一个操作：

config/routes.rb
- resources :cities+ resources :cities do+ member do+ post :update_temp+ end+ end

在画面上放一个按钮，编辑 app/views/cities/index.html.erb

- 
+ 
+   <%= city.current_temp %>
+   <%= link_to "更新温度", update_temp_city_path(city), :method => :post %>
+ 

新增一个 action，编辑 app/controller/cities_controller.rb

def update_temp
    city = City.find(params[:id])
    response = RestClient.get "http://v.juhe.cn/weather/index", 
                              :params => { :cityname => city.juhe_id, :key => "你申请的key放这里" }
    data = JSON.parse(response.body)
    city.update( :current_temp => data["result"]["sk"]["temp"] )
    redirect_to cities_path
end

这样点击「更新温度」后，就会更新气温了。

2-6保护API Key

在串接第三方应用时，第三方的 API Key 我们不希望写死在程式码里面，一来是因为我们不想把这些敏感的 keys 放到版本控制系统里面。二来是因为将来布署的时候，在 production 环境下，api key 会另外申请一个不一样，因此我们希望容易抽换。

新增 config/juhe.yml 作为设定档，内容如下：

 development:
  api_key: "你申请的key放这里"
production:
  api_key: "之后布署上production的话，key放这里"

编辑 config/application.rb，在最下面插入一行：

# (略)
JUHE_CONFIG = Rails.application.config_for(:juhe)

编辑 app/controller/cities_controller.rb 和lib/tasks/dev.rake，把 "你申请的key放这里" 置换成 JUHE_CONFIG["api_key"] 即可。

(以上操作完成后要重启rails s才会生效)

要注意：

• YAML 格式使用空白缩排来表达资料的阶层关系，请务必缩排整齐
• YAML 格式会区分数字和字串，例如 01234 会看成 1234，如果要确保被解析成字串，请加上引号，例如"01234"
• 读出来的 Hash 是用字串 key，不是 symbol key。是 JUHE_CONFIG["api_key"]而不是 JUHE_CONFIG[:api_key]
  接着我们要告诉 Git 不要 commit 这个档案，这样就不用担心 git push 会把 api key 洩漏出去。

编辑.gitignore，插入一行

config/juhe.yml

依照惯例，你可以复制一个 juhe.yml.example 档案放进版本控制系统里面，这可以给你同事当作范例参考，内容例如：

config/juhe.yml.example

development:
  api_key: ""

一些数据网站：
https://www.juhe.cn
http://apistore.baidu.com
https://www.haoduoshuju.com
http://www.pm25.in/api_doc
https://github.com/toddmotto/public-apis
http://opendatachina.com/en/projects/
END