电商数据采集监测流程

品牌不管是做数据分析，还是做渠道管控，都需要电商数据做为支撑，那数据采集的质量将变得非常重要，电商数据采集首先要保证准确率，其次是覆盖率，即页面上可见的商品信息要采集全，否则将很难输出准确的数据分析结果，同时还会影响品牌价格管控的准确性。

 

电商数据采集应如何保证数据的准确率呢，在服务上百个品牌过程中，总结了几点有关数据采集准确率影响的指标。

首先是采集平台的全面性，现在主流的电商平台包含淘宝、天猫、京东、拼多多，如果有些平台不能支持，而只对单一平台进行数据采集，这些数据将无法给品牌提供全渠道的价格管控提供帮助，品牌价格监测应该是所有渠道都覆盖，这样才能保证品牌控价的公平性，所以多平台的数据采集非常重要。

其次采集数据后的数据筛选准确率，电商数据采集的主流方式是通过关键词、店铺等内容进行采集，采集的数据往往会存在杂质，同时还会有各店铺对型号的不同描述，所以去除杂质、匹配型号将变得非常重要，因为这决定了品牌拿到的电商数据是否有价值，对其做数据分析，或者价格监测是否有帮助。

 

数据采集还应考虑采集的字段丰富程度，各电商平台上的商品描述字段是非常丰富的，包含价格、销量、库存、标题、店铺名称、旺旺名称、实际支付人数等，只有将越多的字段采集到位，品牌才可针对不同字段的内容进行有针对性的分析，比如可以分析价格走势、低价幅度与销量的关系、竞品销量走势等。

 

要做好电商数据监测，必然要将电商数据采集工作的准确性进行把握，因为只有有效的数据才有分析的价值，同时品牌在做控价时，准确的数据，才能保证低价数据的准确输出。 

 举例：Tb.item_get-获取商品详情页面数据返回值说明

1.请求方式：HTTP POST GET

2.Java代码展示：

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.Reader;
import java.net.URL;
import java.nio.charset.Charset;
import org.json.JSONException;
import org.json.JSONObject;
import java.io.PrintWriter;
import java.net.URLConnection;

public class Example {
	private static String readAll(Reader rd) throws IOException {
		StringBuilder sb = new StringBuilder();
		int cp;
		while ((cp = rd.read()) != -1) {
			sb.append((char) cp);
		}
		return  sb.toString();
	}
	public static JSONObject postRequestFromUrl(String url, String body) throws IOException, JSONException {
		URL realUrl = new URL(url);
		URLConnection conn = realUrl.openConnection();
		conn.setDoOutput(true);
		conn.setDoInput(true);
		PrintWriter out = new PrintWriter(conn.getOutputStream());
		out.print(body);
		out.flush();
		InputStream instream = conn.getInputStream();
		try {
			BufferedReader rd = new BufferedReader(new InputStreamReader(instream, Charset.forName("UTF-8")));
			String jsonText = readAll(rd);
			JSONObject json = new JSONObject(jsonText);
			return json;
		} finally {
			instream.close();
		}
	}
	public static JSONObject getRequestFromUrl(String url) throws IOException, JSONException {
		URL realUrl = new URL(url);
		URLConnection conn = realUrl.openConnection();
		InputStream instream = conn.getInputStream();
		try {
			BufferedReader rd = new BufferedReader(new InputStreamReader(instream, Charset.forName("UTF-8")));
			String jsonText = readAll(rd);
			JSONObject json = new JSONObject(jsonText);
			return json;
		} finally {
			instream.close();
		}
	}
	public static void main(String[] args) throws IOException, JSONException {
		// 请求示例 url 默认请求参数已经URL编码处理 
        //  请求地址 http://c0b.cc/R4rbK2
		String url = "https://api-vxx.Taobaoapi2014.cn/taobao/item_get_desc/?key=<您自己的apiKey>&secret=<您自己的apiSecret>&num_iid=12345678";
		JSONObject json = getRequestFromUrl(url);
		System.out.println(json.toString());
	}

}

请将上述代码中的 "your_app_key" 和 "your_app_secret" 替换成你在淘宝开放平台申请的 App Key 和 App Secret，"12345678" 替换成要查询的商品 ID。执行代码后，将会返回对应商品详情内容信息。